情報理論

Information Theory

9973402

73ICINP301

五十嵐　保隆

Yasutaka Igarashi

2024年度前期

2024 First Semester

金曜3限

the third period in Friday

創域理工学部　電気電子情報工学科

Department of Electrical Engineering, Faculty of Science and Technology

2.0単位

講義

Lecture

-

② [対面]ハイフレックス型授業/ [On-site] Hybrid-Flexible format (must include 50%-or-more classes held on-site)

情報を工学的に取り扱う上の理論体系が情報理論である。それは，1948年のC.E.shanonの論文に始まり，近年までに急速な発展をとげた新しい学問であり，関連する分野はきわめて広い。この講義では，情報の効率良い伝達，蓄積，処理を目指す際の基礎理論として，shanon理論を学ぶ。さらに，その実際的な応用分野の一つとして，誤り訂正符号の理論（符号理論）に触れる。

通信を情報の流れとして捉える情報理論の基本概念を理解する。

情報理論の基本概念として、情報量、情報源や通信路のモデル化、相互情報量、通信路容量、情報源符号化定理、通信路符号化定理を理解し、通信の理論的限界を知る。
なお、本科目は、当学科のディプロマポリシーに定める第2項を実現するための科目である。電気電子情報工学コースを選択の学生は、本科目を習得することによって、以下の学習・教育目標を達成できる。

──────────────────────
│電気電子情報工学コースの学習・教育目標
──────────────────────
A │地球的視点で考える能力
B │技術者倫理を理解する能力
C │コミュニケーション能力
D │数学、自然科学と情報活用能力
E │専門基礎能力
F │専門応用能力　　　　○
G │計画・遂行・継続能力
H │課題設定能力
I │デザイン能力
──────────────────────
(◎、○で記載)

リンク先の [評価項目と科目の対応一覧]から確認できます（学部対象）。
履修登録の際に参照ください。
​You can check this from “Correspondence table between grading items and subjects” by following the link(for departments).
https://www.tus.ac.jp/fd/ict_tusrubric/​​​

-

-

（準備学習）各回の授業前に2時間程度、指定した教科書・キーワード等の授業内容に関連した部分を熟読したり、場合によっては検索などして調査しておくこと
（復習）各回の講義内容を2時間程度復習し、各回の講義で説明した内容について理解の定着を図ること

期末の筆記試験で評価し、60点以上を合格とする。　
60点未満となった場合の救済措置は講じない。

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

N

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
​https://mirai.kinokuniya.co.jp/tokyorika/​​​

It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​​https://mirai.kinokuniya.co.jp/tokyorika/

「情報理論」宮川著（コロナ社）1979，ISBN-13: 978-4339001020

「誤り訂正符号とその応用」江藤，金子（オーム社）1996、ISBN-13: 978-4274034862



以下の2冊は理科大図書館電子ブックで全文閲覧可能

はじめての情報理論
By: 稲井, 寛. 森北出版. ISBN: 978-4-627-84911-2, 978-4-627-30481-9.

はじめての情報理論
By: 小嶋, 徹也. インプレス Ｒ＆Ｄ／インプレスビジネスメディア. ISBN: 978-4-7649-0413-2, 978-4-7649-7018-2.

原則として全ての講義実施形態は【ハイフレックス型授業】です。

1. 通信系のモデル 　　
情報理論の基礎概念及び通信系のモデルの理解。情報と情報を運ぶもの。ウイナーとシャノン。シャノンノ通信系モデル。情報理論の課題

2. 情報量 　　
情報量の定義及びその妥当性の理解。情報量の定義。情報量の加法製。無記憶情報源。エントロピーの定義及び性質。エントロピーの最大値

3. 情報源の拡大 　　
情報源の拡大及び典型的系列の理解。拡大情報源。漸近的等分配性。エルゴード性

4. マルコフ情報源 　　
記憶のある情報源の表現法及びその情報量の理解。マルコフ情報源。状態遷移行列。状態遷移図。

5. マルコフ情報源(2) 　　
正規マルコフ情報源。エルゴードマルコフ情報源。マルコフ情報源のエントロピー

6. 情報源の符号化 　　
情報源符号化の基礎概念を理解。情報源符号化の目的。一意に復号可能な符号。瞬時符号。クラフトの不等式。マクミランの不等式。平均符号長の下限。

7. 情報源符号化定理 　　
情報源符号化の限界としてエントロピーを理解。情報源符号化定理。ハフマン符号。符号の効率。

8. 各種の情報源符号化法 　　
情報源符号化定理の限界を目指す各種の基本的符号化法を理解。ハフマンブロック符号。非等長情報源シンボルの符号化。ランレングス符号化。

9. 各種の情報源符号化法(2)　　
情報源符号化定理の限界を実現する各種の基本的符号化法を理解。算術符号。ユニバーサル符号。ＺＬポインター型ユニバーサル符号。増分分解型ユニバーサル符号、ＬＺＷ符号

10. 相互情報量 　　
通信路の表現法及び情報理論的理解。通信路行列。結合エントロピー。あいまい度。散布度。相互情報量。各種の通信路。

11. 通信路の符号化 　　
通信路符号化の限界として通信路符号化定理を理解。通信路容量。通信路符号化定理。

12. 誤り訂正符号の原理 　　
通信路符号化の実際的技術である誤り訂正符号の基本原理を理解。最尤復号法。ハミング距離。最小距離と誤り訂正能力

13. 線形符号 　　
基本的な誤り訂正符号として線形符号を紹介。パリティ検査行列。生成行列。シンドローム。線形符号の復号法。

14. 補足と演習
これまでの講義内容の補足と演習

15. 後期の到達度評価・総括【対面授業】
当該授業における達成度を対面の到達度評価試験により確認する。
その後、オンライン非同期の授業として当該授業科目の内容を総括する。

-

-

-

Y

N