情報通信基礎

Fundamentals of Information and Communication

9981183

81ICCEN201

伊丹　誠

2023年度前期

金曜1限

先進工学部　電子システム工学科

Department of Applied Electronics, Faculty of Advanced Engineering

2.0単位

講義

Lecture

-

対面型授業/On-site class
を基本とする。
コロナ等の状況によって
オンライン授業（非同期）/Online (asynchronized remote)
に変更する場合もあります。

ディジタル情報通信･処理の理論基盤となる情報の定義および数学的な取り扱いについて基礎を学ぶ．情報・通信の分野での基本となる理論を学ぶ科目であり，情報・通信の研究・開発分野における基礎知識として重要である．本科目を学ぶことによって電子工学の分野で多方面に活躍できる基礎知識を身に着けることができる．

工学の全般に関する幅広い分野の専門知識を身に付け，論理思考力・数量的スキル・情報処理能力を高める．

情報を定量的に扱うための基礎概念と数学的手法を身につける．

基礎技術力/専門基礎力(知識、技能)

確率･統計などに関する初歩的知識(２年後期電気統計学参照），対数関数の基本的性質，行列の演算などについて復習しておくこと．
講義で示すことのできる実例は限られているので，後にＷＥＢで提示する例や参考書の例題や演習問題などをできるだけ試みておくこと．

-

-

次回講義で行う内容について調べ，講義終了後，講義外学習で示しているポイントを中心に復讐しておくこと．特に式の変形・証明などは各自でもう一度検証し，理解を深め，習熟度を高めておくこと．

到達度評価

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

N

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​https://gomykits.kinokuniya.co.jp/tokyorika/​​​

今井秀樹:情報理論(昭晃堂)
講義情報ホームページ http://itamilab.te.noda.tus.ac.jp/~itami/lecture/commu1/ (学内からのみアクセス可)

LETUSで講義資料を配布します

１．　情報通信の基礎
内容：　情報理論の歴史および本講義で学ぶ事柄について概要を紹介し，情報理論において重要な概念である通信路モデルの定義を学ぶことができる．
［講義外学習：　我々が日常行っている通信の個々の要素が通信路モデルのどの部分に相当するか考えてみること．]

２．　情報量の定義
内容：　情報量の定義と基本性質を学び，我々の日常における情報の交換がどのように定量化されるかを学ぶ．情報量の単位であるビットの意味が理解できる．
［講義外学習：　情報通信基礎では２を底とする対数関数を多用するので，対数関数を復習しておくこと．講義で学んだ情報量を種々の実例について求めてみること．]

３．　情報源とエントロピー
内容：　情報を生成する源となる情報源の定義を行い，情報源の持つ情報量を定量化するための尺度であるエントロピーを学ぶ．多くの情報量をもつ情報源がどのようなものであるか理解することができる．
［講義外学習：　確率変数に対する平均値の求め方を復習しておくこと．］

４．　エントロピーの性質
内容：　エントロピーのもつ基本的な性質を導出する．個々の情報源が持つことのできる情報量の最大値とエントロピーの関係について理解することができる．
［講義外学習：　エントロピーの定義について復習しておくこと］

５．　情報源の拡大とエントロピー
内容：　拡大情報源の定義を行い，拡大情報源におけるエントロピーの性質を学ぶ．シャノンの補助定理とその適用方法について学ぶ．これによって後に用いるエントロピーの重要な性質の１つを理解することができる．
［講義外学習：　独立な確率変数の性質について復習しておくこと］

６．　情報源符号化とその例
内容：　情報源符号化の概念を実例をもとに示し一般化する．２進化１０進符号，文字コード，電信符号などについてその特徴を示す．情報源符号化を行う目的について理解することができる．
［講義外学習：　身の回りで０と１を用いて表現が行われているものの例を調べ，どのような規則で行われているか考えてみること．］

７．　情報源符号とその分類
内容：　種々の情報源符号についてその性質を元に分類を行い，実用的な符号とはどのような符号であるかを学ぶ．符号の木を用いた表現を学ぶことができる．
［講義外学習：　講義の例題や，参考書の例題・演習問題について種々の符号の分類を行う方法を演習しておくこと．］

８．　平均符号長とクラフトの不等式
内容：　符号の特性を評価する上で非常に重要なパラメータである平均符号長の定義を行い，エントロピーとの関係を導く．その基礎となる瞬時符号におけるクラフトの不等式について学ぶ．情報源符号とエントロピーとの関係が理解できる．
［講義外学習：　シャノンの補助定理および符号の木について復習しておくこと．］

９．　ｺﾝﾊﾟｸﾄ符号とﾊﾌﾏﾝ符号
内容：　平均符号長が最小となるコンパクト符号について学ぶ．その中でも最も重要なハフマン符号について定義とその構成方法について学ぶ．これによって，ハフマン符号化を行うためのアルゴリズムを理解することができる．
［講義外学習：　ハフマン符号化について，講義および後に示すＷＥＢページの例題や，参考書の例題・演習問題を実際に解くことによって，任意の場合についてハフマン符号化が行えるようにしておくこと．］

１０．　情報源符号化定理
内容：　情報源符号化の限界を与える定理である情報源符号化定理について理解することができる．
［講義外学習：　エントロピーと平均符号長のとの関係および情報源の拡大について復習しておくこと．］

１１．　通信路とその数学的表現
内容：　シャノンの通信路モデルにおいて，離散的通信路を行列を用いて表現する方法を学ぶ．通信路行列・通信路線図を定義し，種々の具体的な通信路における例を示し，通信路行列の使い方について理解することができる．
［講義外学習：　条件付き確率および行列の演算（積・転置）について復習しておくこと．］

１２．　通信路とエントロピー
内容：　通信路とエントロピーとの関係およびそれから導かれる相互情報相互情報量の概念について学び，通信路における情報のやりとりについて理解することができる．
［講義外学習：　エントロピーの定義について復習すること．］

１３．　通信路容量
内容：　通信路容量の定義と各種通信路における通信路容量を求める方法について学び，通信路を経由して送られる情報量について理解することができる．
［講義外学習：　相互情報量について復習すること．］

１４．　通信路符号化定理
通信路符号化の概念を示し，通信路符号化定理を紹介する．これによって，通信路を経由して送ることのできる情報量の限界について理解することができる．
［講義外学習：　通信路の伝送速度と誤りとの関係およびそれを改善するための方法について理解を深めておくこと．］

１５．　まとめ
上記の目標に対する到達度をみるための授業内試験と解説を行う．
［講義外学習：　１〜１４回の講義で学んだことを再確認し，相互の関連性を理解しておくこと．講義で示した計算例などは各自もう一度流れを確認し，正しく導けるようにしておくこと．］

-

-

-

レポート課題を課す場合にはLETUSにて配布する．