情報理論１ （情報理論A）

Information Theory 1 （情報理論A）

9984051

84MAISS203

荒木　修

Osamu Araki

2024年度後期

2024 Second Semester

月曜2限

Monday 10:30-12:00

先進工学部　物理工学科

Department of Applied Physics, Faculty of Advanced Engineering

2.0単位

講義

Lecture

-

① [対面]対面授業/ [On-site] On-site class

インターネット，携帯電話，CATVなど近年の情報通信機器は日々進歩している．情報はどのようにして定量的に扱われ，通信方式や通信路容量が決められているのであろうか？この理論的基盤である情報理論を理解することは，これらの機器の仕組みや機能を理解する上で重要である．また近年、脳科学の研究領域においても、情報理論を用いたデータ解析も行われてきている。本講義では，情報通信の数学的基盤を与えるディジタル情報理論を主に取り扱い，情報量，平均情報量(エントロピー), 通信路容量, 情報源符号化を理解する．情報通信分野に携わる技術者・研究者になるための基礎的な知識を得ることができる．また，各回の小テストを通して論理的思考力，数量的スキルを身につけることができる．

情報理論の基礎を理解できるようになること。本学科のディプロマポリシー「物理学及びその応用分野を含めた科学についての十分な基礎学力」を身に付けることに相当する。

情報量，平均情報量(エントロピー), 通信路容量, 情報源符号化を理解する。

リンク先の [評価項目と科目の対応一覧]から確認できます（学部対象）。
履修登録の際に参照ください。
​You can check this from “Correspondence table between grading items and subjects” by following the link(for departments).
https://www.tus.ac.jp/fd/ict_tusrubric/​​​

ほぼ毎回、小テストを実施する。予習・復習を行うこと。

課題に対する作文　Essay／小テストの実施　Quiz type test

-

ほぼ毎回LETUSに授業教材を掲載するので、予習として1時間程度、教科書と教材を予習すること。教科書・教材とノートを用いて復習し、演習課題の解き直し等を1時間程度行うこと。

各講義で課される小テスト（50％）と到達度評価（50％）により評価する．

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

Y

わかりやすいディジタル情報理論改訂２版・塩野, 蜷川・ オーム社・2021・ISBN9784274227233

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
​https://mirai.kinokuniya.co.jp/tokyorika/​​​

It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​​https://mirai.kinokuniya.co.jp/tokyorika/

講義中に紹介する．

1 　　イントロダクション 　　講義概要，講義の進め方, コンピュータの基礎知識を理解する。
2 　　コンピュータの基本 　　コンピュータを構成するハードウエアとその動作，ＯＳ，プログラミング言語, オートマトンの基礎を理解できるようになる。
3 　　２進数の基礎 　　２進法，８進法，１６進法，２進法と10進法の変換を理解する。
4 　　確率論の基礎 　　集合，事象，条件付き確率，ベイズの定理，平均，分散を理解する。
5 　　情報量とエントロピー(1) 　　情報量，エントロピー，結合エントロピーを理解し関連する計算ができるようになる。
6 　　情報量とエントロピー(2) 　　結合エントロピー，条件付きエントロピーを理解し関連する計算ができるようになる。
7 　　情報量とエントロピー(3) 　　相互情報量を理解し、関連する計算ができるようになる。
8 　　情報源と通信路(1) 　　情報源のモデル，マルコフ情報源，状態遷移図, 情報源のエントロピーを理解する。
9 　　情報源と通信路(2) 　　通信路のモデル，伝送情報量, 通信路容量を理解する。
10　　情報源符号化(1) 　　符号化の基礎，クラフトの不等式, 符号化の効率を理解する。
11　　情報源符号化(2) 　　シャノン・ファノ符号を理解する。
12　　情報源符号化(3) 　　ハフマン符号・ランレングス符号を理解する。
13　　アナログ情報 　 アナログ情報源と通信路を理解する。
14　　講義の総括（小テスト答案の返却と解説）
15　　到達度評価と解説

荒木：会社員(情報関係)の勤務実績を活かし、情報理論に関する講義を行う

-

-

N

N