情報理論（情報基礎論）

Information Theory

994311Y

43ICINP201

丸田　一輝

Kazuki Maruta

2023年度後期

2023 Second Semester

月曜1限

Monday 1st Period

工学部　電気工学科

Department of Electrical Engineering, Faculty of Engineering

2.0単位

講義

Lecture

-

ブレンド型授業（半数回以上を対面実施）

Blended format(with 50%-or-more on-site classes)

本講義では、情報とは何か、情報は工学の分野でどのように取り扱われているかということを学ぶ。

In this course, students will learn what information is and how it is dealt with in the field of engineering.

情報は、物質、エネルギーと共に現代の工学を支える３本の柱の１つです。その情報に関する基礎的な知識、工学的な扱いを理解する。

Information theory is the important field supporting modern engineering.
It aims at understanding the fundamental knowledge about the information, and engineering treatment.

情報量、エントロピー、離散的情報源、通信容量、情報源符号化、通信路符号化などについて理解できる。

To be able to understand information quantity, entropy, discrete information sources, channel capacity, source coding, and channel coding.

専門学力(通信・情報)

特になし
Nothing special

-

-

LETUSに掲載する資料を事前に読んでおくこと。
各回の講義内容を十分復習し、学んだ概念・用語や手法について説明できるようにしておくこと。

Read the relevant materials uploaded to LETUS in advance.
Thoroughly review the content of each lecture and be able to explain the concepts, terms, and methods learned.

中間試験(30%)と期末試験(70%)によって評価する。

Evaluatied based on a mid-term exam (30%) and a final exam (70%).

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

N

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​https://gomykits.kinokuniya.co.jp/tokyorika/​​​

特に教科書は指定しませんが、下記の書籍を適宜ご参考ください。
・「情報理論の考え方」植松 友彦 著（講談社）
・「情報理論」南 敏 著（産業図書）

1. イントロダクション：情報理論とは
   情報、シャノンによる通信系モデル、符号化の概念と量的表示、基礎的な演算を理解する。
   
   
2. 誤り検出符号
   雑音の影響と誤りを検出の意義、代表的な誤り検出符号について学ぶ。
   
   
3. 誤り訂正符号 (1)
   誤り訂正符号の概念と、反復符号及びハミング符号の原理を理解する。
   
   
4. 誤り訂正符号 (2)
   畳み込み符号を理解し、様々な誤り訂正符号について学ぶ。
   
   
5. 情報源符号化 (1)
   情報源符号化の意義と基礎、符号の木を理解する。
   
   
6. 情報源符号化 (2)
   平均符号長、最適符号、ハフマン符号化を理解する。
   
   
7. 情報源符号化 (3)
   シャノン・ファノ符号化、LZ符号化を理解する。
   
   
8. 中間試験とまとめ
   誤り検出符号、誤り訂正符号、情報源符号化の理解度を確認する。
   
   
9. 情報量とエントロピー (1)
   自己情報量、エントロピーの基本概念を理解する。
   
   
10. 情報量とエントロピー (2)
    相互情報量、条件付きエントロピー、平均相互情報量を理解する。
    
    
11. 情報源符号化定理（シャノンの第１基本定理）
    シャノンの第１基本定理を理解する。
    
    
12. 通信路と通信路容量
    通信路及び通信路容量の概念を理解する。
    
    
13. 通信路符号化定理（シャノンの第２基本定理）
    シャノンの第２基本定理を理解する。
    
    
14. 通信路符号化定理証明のアイデア
    シャノンの第２基本定理を理解するための考え方を理解する。
    
    
15. まとめ
    誤りの発生と検出、誤り訂正符号、それらを支える基礎理論などの重要な項目を復習する。

----------------------------------

1. Introduction: what is information theory?
   Understand information, Shannon's communication system model, concept of coding and its quantitative representation, and basic arithmetic operations.
   
   
2. Error detection codes
   Learn about the impact of noise, the significance of error detection, and typical error detection codes.
   
   
3. Error correction codes (1)
   Understand the concept of error correction codes and the principle of iterative codes and Hamming codes.
   
   
4. Error correction codes (2)
   Understand convolutional codes and various kinds of error correction codes.
   
   
5. Source coding (1)
   Understand the significance and fundamentals of source coding and code trees.
   
   
6. Source coding (2)
   Understand average code length, optimal code, and Huffman coding.
   
   
7. Source coding (3)
   Understand Shannon–Fano coding and LZ coding.
   
   
8. Mid-term exam and summary

   Confirm understanding of error detection codes, error correction codes, and source coding.
   
   

9. Measure of information and entropy (1)

   Understand the basic concepts of entropy and mutual information content.
   
   

10. Measure of information and entropy (2)

    Understand joint entropy, conditional entropy, and average mutual information content.
    
    

11. Source coding theorem (Shannon's first theorem)
    Understand Shannon's first Theorem.
    
    
12. Communication channel and channel capacity
    Understand the concepts of communication channel and channel capacity.
    
    
13. Channel coding theorem (Shannon's second theorem)
    Understand Shannon's second theorem.
    
    
14. Ideas for proving the channel coding theorem
    Understand tools to prove the concept of Shannon's Second Theorem.
    
    
15. Summary
    Review important topics such as error and detection, error correction codes, and the underlying theories behind them.

企業での研究開発勤務（研究主任）
Worked in research and development at a company as Research Engineer

-

-