情報理論及び演習 （１組）

Information Theory and its Exercises （１組）

9963411

63MAMAI202

入山　聖史、桃﨑　智隆、渡邉　昇

Noboru Watanabe & Satoshi Iriyama

2024年度前期

Semester

月曜4限、木曜4限

Monday 4th & Thursday 4th

創域理工学部　情報計算科学科

Department of Information Sciences, Faculty of Science and Technology

3.0単位

講義/演習

Lecture/Seminar

-

② [対面]ハイフレックス型授業/ [On-site] Hybrid-Flexible format (must include 50%-or-more classes held on-site)

[概要]
今日の情報化社会を支える基礎理論の一つが50年ほど前にシャノンによって定式化された情報理論である。この情報理論は，一般に，電波や電流などの可換な系で記述される信号空間に対して情報伝送の効率などを情報量(エントロピー)を用いて厳密に取り扱うことができる理論であり，エントロピー理論と密接に関連して数理的に完全に定式化されている。情報理論の授業では，この情報通信の基礎をなす数学的理論である情報理論を学習する。この授業は，確率論Ⅰを数学的基礎とする。その講義内容は，遺伝情報学，複雑さの理論，光通信理論等々の講義と関連している。
　キャリアとの関連では，情報通信の分野における諸問題に対して，多面的な分析力や問題解決力を身に付け，情報通信分野における政策の企画，立案，実行ができるようになることを目指して，情報科学の基礎力を養成する。

[目的]
情報を数量化する上で重要となる尺度＝情報量（エントロピー）の定義を学び，シャノンによって定式化された情報通信の数学的理論「情報理論」の哲理とは何かを学習する。
本学科のディプロマ・ポリシーにある「情報科学分野に応じた専門知識」を身 に付け，「自然科学・科学技術の分野のみならず社会における多様な情報を論理 的に分析し、問題の発見、さらにはその解決に貢献しうる能力」を獲得するため の科目である．

[到達目標]
１．情報量の意味付けから始まり，情報通信の基礎的数学理論を理解できるようになる。
２．エントロピーの概念，エントロピーの性質について説明できるようになる。
３．符号化定理について理解できるようになる。
４．通信路容量，極値問題等が説明できるようになる。
５．これらを通して情報理論の原理と応用を体系的に身に付けることができ，情報科学科の学問分野における基礎的知識の獲得ができる。

リンク先の [評価項目と科目の対応一覧]から確認できます（学部対象）。
履修登録の際に参照ください。
​You can check this from “Correspondence table between grading items and subjects” by following the link(for departments).
https://www.tus.ac.jp/fd/ict_tusrubric/​​​

情報数学１Ａ及び演習，線形代数１及び演習・線形代数２及び演習，解析学１及び演習・解析学２及び演習を習得し，確率論Ⅰを履修していることが望ましい。

-

-

講義の準備学習：毎回，講義の参考書を事前に調べて講義の学習の準備をして下さい。
講義の復習：講義の板書，音声データ，配布プリントなどは，Webで公開しているので，それらを活用して講義の復習をして下さい。
演習の準備学習：毎回，演習では講義の内容と対応した演習問題を行うので，Webで講義の復習を行い，演習の準備をして下さい。
演習の復習：演習授業後に演習の問題とその略解をWebに公開するので，Webを活用して，演習の問題の復習をして下さい。
予習と復習を合わせて週５時間を目安とする。

中間および達成度評価を中心に演習のレポート等の評価点を加味し総合的に評価する。
試験85%，演習15%

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

N

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
​https://mirai.kinokuniya.co.jp/tokyorika/​​​

It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​​https://mirai.kinokuniya.co.jp/tokyorika/

量子通信理論の基礎，大矢雅則・渡邉昇共著，牧野書店，1998
確率論的エントロピー，梅垣・大矢共著，共立出版，1983
情報理論，有本卓著，共立出版，1976
情報エントロピー論，堀部安一著，森北出版，1989
符号と暗号の数理，藤原・神保共著，共立出版，1993
さらにWeb上から授業の参考資料がダウンロード可能である。

1 情報量 　
あいまいさ，エントロピーの導入 　　

2-4 情報量の性質
エントロピーの性質，相対エントロピー，相互エントロピーの性質，
エントロピーの特徴付け定理

5-6　 符号理論
符号理論の目的，誤の検出・訂正符号，線形符号，巡回符号，BCH符号

7　　 通信路（チャネル）
二元通信路

8-9 連続系のエントロピー
連続系のエントロピーの性質，連続系の相対エントロピー，相互エントロピーの性質

10-11 通信路容量
情報源，マクミランの定理，通信路容量

12　　符号化の定理 　
情報源符号化の定理

13　　エントロピーの極値問題
相互情報量の最大化，相互情報量の制限付最大化

14-15　　通信方式と伝送効率
標本化定理や変調方式について

-

Mathematica

-

なし

Y

Y