シラバス情報

教員名 ： 柳田　昌宏
科目授業名称（和文）　Name of the subject/class (in Japanese)
情報理論特論 （博士後期課程用）
科目授業名称（英文）　Name of the subject/class (in English)
Topics in Information Theory (Doctor)
授業コード　Class code
991JZ13
科目番号　Course number
14MAAPM508

教員名
柳田　昌宏
Instructor
Masahiro Yanagida

開講年度学期
2024年度後期
Year/Semester
2024 Second Semester
曜日時限
水曜4限
Class hours
Wednesday 4th Period

開講学科・専攻　Department
理学研究科　応用数学専攻　

Department of Applied Mathematics, Graduate School of Science
単位数　Course credit
2.0単位
授業の方法　Teaching method
講義

Lecture
外国語のみの科目（使用言語）　Course in only foreign languages (languages)
-
授業の主な実施形態　Main class format
② [対面]ハイフレックス型授業/ [On-site] Hybrid-Flexible format (must include 50%-or-more classes held on-site)

概要　Description
通信路符号化定理を学ぶ．
This course introduces the noisy-channel coding theorem.
目的　Objectives
誤りのある通信路において達成可能な符号化レート（1記号あたりの符号語長）の上限を与える「通信路符号化定理」を理解する．本科目は情報数理に関する「専門科目」（専攻カリキュラム・ポリシーより）であり，「高度な専門的学識と研究能力」（専攻ディプロマ・ポリシーより）を身に付けることを目的とする．　
The aim of this course is to understand the noisy-channel coding theorem, which gives the supremum over all achievable code rates for a noisy channel.
到達目標　Outcomes
通信路容量について説明できる．通信路符号化定理を導出できる．
The goal of this course is to explain the channel capacity and derive the noisy-channel coding theorem.
卒業認定・学位授与の方針との関係（学部科目のみ）
リンク先の [評価項目と科目の対応一覧]から確認できます（学部対象）。
履修登録の際に参照ください。
​You can check this from “Correspondence table between grading items and subjects” by following the link(for departments).
https://www.tus.ac.jp/fd/ict_tusrubric/​​​
履修上の注意　Course notes prerequisites
「情報理論」（学部3年選択必修科目）で扱う程度の情報理論に関する知識を有していることが望ましい．
Participants are expected to have a basic knowledge of information theory.
アクティブ・ラーニング科目　Teaching type（Active Learning）
課題に対する作文　Essay
-

準備学習・復習　Preparation and review
前回の授業範囲を教科書・ノート等を用いて復習することにより，理解が不十分な箇所が無いようにする（2時間程度）．次回の授業範囲を教科書を用いて予習することにより，必要な予備知識に不足が無いようにする（2時間程度）．
To resolve a lack of understanding of the last lesson (2 hours) and knowledge necessary for the next lesson (2 hours) by reviewing textbooks and notebooks.
成績評価方法　Performance grading policy
レポート（第1回）50%，レポート（第2回）50%．
Mid-term report (50%) and term-end report (50%).
学修成果の評価　Evaluation of academic achievement
・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

教科書　Textbooks/Readings
教科書の使用有無（有=Y , 無=N）　Textbook used(Y for yes, N for no)
N
書誌情報　Bibliographic information
MyKiTSのURL（教科書販売サイト）　URL for MyKiTS(textbook sales site)
教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
​https://mirai.kinokuniya.co.jp/tokyorika/​​​

It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​​https://mirai.kinokuniya.co.jp/tokyorika/

参考書・その他資料　Reference and other materials
『情報理論講義』小林欣吾・森田啓義著／培風館／2008年発行／ISBN 978-4563015763
『情報理論 -基礎と広がり-』 Thomas M. Cover・Joy A. Thomas著、山本博資・古賀弘樹・有村光晴・岩本貢訳／共立出版／2012年発行／ISBN 978-4320123007
『情報理論 -エントロピーと符号化定理』古市茂著／日本評論社／2021年発行／ISBN 978-4535789340

授業計画　Class plan
  1. 導入
    Introduction
    本講義で扱う内容の概要を理解する．
  2. エントロピー
    Entropy
    エントロピーについて理解する．
  3. エントロピーの性質
    Properties of Entropy
    エントロピーの凸性と最大値について理解する．ダイバージェンスについて理解する．
  4. さまざまな情報量
    Joint entropy, conditional entropy, mutual information
    同時エントロピー，条件付きエントロピー，相互情報量について理解する．
  5. 通信路モデル
    Communication models
    通信路モデルとさまざまな通信路について理解する．
  6. 標準系列
    Typical sequences
    標準系列と漸近等分割性について理解する．
  7. 同時標準系列
    Jointly typical sequences
    同時標準系列について理解する．
  8. 通信路容量
    Channel capacity
    通信路容量について理解する．
  9. 通信路符号化システム
    Channel coding systems
    通信路符号化システムと復号誤り確率について理解する．
  10. ランダム符号（１）
    Random coding (1)
    ランダム符号と同時標準系列復号法について理解する．
  11. ランダム符号（２）
    Random coding (2)
    ランダム符号の対称性について理解する．平均誤り確率の期待値を評価できるようになる．
  12. 通信路符号化順定理
    The noisy-channel coding theorem (the direct part)
    通信路符号化順定理を導出できるようになる．
  13. 情報処理不等式
    The information processing inequality
    情報処理不等式について理解する．
  14. ファノの不等式
    Fano's inequality
    ファノの不等式について理解する．
  15. 通信路符号化逆定理
    The noisy-channel coding theorem (the converse part)
    通信路符号化逆定理を導出できるようになる．

授業担当者の実務経験　Work experience of the instructor of the class
-
教育用ソフトウェア　Educational software
-
-

備考　Remarks

授業でのBYOD PCの利用有無　Whether or not students may use BYOD PCs in class
N
授業での仮想PCの利用有無　Whether or not students may use a virtual PC in class
N