機械学習

Machine Learning

994673B

46CSINS309

入江　豪

Go Irie

2023年度後期

2023 2nd Semester

火曜2限

Tuesday 2nd Period

工学部　情報工学科

Department of Information and Computer Technology, Faculty of Engineering

2.0単位

講義

Lecture

-

対面授業 / On-site class

機械学習は、機械に人間と同様の学習能力を与えることを目的とした人工知能の中心的な技術領域です。画像認識、音声認識、自然言語処理、データマイニングといった、計算機科学／情報工学分野の全域に渡る学問領域に関連するばかりでなく、医学、経済学、物理学などにも応用が進められている重要な学問領域となっています。
本講義では、機械学習の中でも最尤推定やベイズ統計に基づく統計的学習、及び、深層学習に関する基礎理論・アルゴリズム・実践的知識の習得を目指します。

本講義では、機械学習の中でも比較的古典的な最尤推定・ベイズ統計に基づく統計的学習の理論・手法、ならびに、現代機械学習の中心となっている深層学習について、その基礎理論・アルゴリズム・実践的知識の修得を目指します。
具体的には、最尤推定、隠れ変数、事後確率最大化、モデル選択、深層学習の基本的なアーキテクチャと学習則、および、発展的機械学習問題（半教師あり学習、ドメイン適応、対照学習など）について、その基本的な性質や原理を身に付けます。
本講義は、本学科のディプロマ・ポリシーに定める「情報工学に必要な基礎学力と専門知識」を身に付けるための科目です。

・機械学習に必要な確率・統計に関する基礎的な概念を説明することができる／確率・統計を扱った基本的な問題を解くことができる
・最尤推定やベイズ統計などに基づく統計的学習の基本的な概念を説明することができる／基本的な統計的学習の問題を解くことができる
・深層学習における基本的なアーキテクチャと学習則について、そのメカニズム・特性・アルゴリズムを説明することができる
・発展的な機械学習問題（半教師あり学習、ドメイン適応、対照学習など）の特性を説明することができる／それらに適用可能な基本的な学習法とその特性を説明することができる

専門分野の基礎知識（専門基礎科目、専門必修科目）/専門分野の応用知識（選択必修科目、実験、演習科目、卒業研究）

必須ではないが、情報工学科3年前期の「パターン認識」を履修済みであることが好ましい。
履修者はLETUSのコース「機械学習 (994673B)」に自己登録すること。

-

-

到達度評価試験　　　　　　　　　　　　　　　　　　　　　　：60%
期間内課題の提出状況・回答内容（3〜4回程度を予定）　　　　：40%

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

N

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​https://gomykits.kinokuniya.co.jp/tokyorika/​​​

講義内で使用することはありませんが、参考図書として下記のものを挙げておきます。

C.M. ビショップ（著）
元田 浩、栗田 多喜夫、樋口 知之、松本 裕治、村田 昇（監訳）
パターン認識と機械学習 上／下
丸善出版　2012年01月

岡谷 貴之（著）
深層学習 改訂第2版 (機械学習プロフェッショナルシリーズ)
講談社　2022年1月

山下 隆義（著）
イラストで学ぶ　ディープラーニング　改訂第２版
講談社　2018年11月

講義の進捗によって多少前後する可能性があります。

1. 機械学習とは
・ガイダンス
・機械学習とはなにか
・機械学習で何ができるのか

2. 統計的学習の基礎
・機械学習の基礎概念
・統計的学習の基礎（確率、確率分布、ベイズの定理）

3. 最尤推定
・自己回帰モデルと最小二乗法
・最尤推定
・事後確率最大化推定と正則化

4. 混合分布
・隠れ変数モデル
・期待値最大化法による混合正規分布とトピックモデル（潜在意味解析／確率的潜在意味解析）の学習

5. ベイズ推定（１）
・最尤推定／事後確率最大化推定とベイズ推定
・変分ベイズ法による混合正規分布の学習
・ギブスサンプリング／崩壊ギブスサンプリングによるトピックモデル（Latent Dirichlet Allocation）の学習

6. ベイズ推定（２）
・ハイパーパラメータ
・経験ベイズ法と階層ベイズ法
・周辺尤度最大化、ベイズ情報量基準

7. ベイズ推定（３）＆前半まとめ
・ノンパラメトリックベイズ
・無限混合正規分布、ディリクレ過程／階層ディレクレ過程
・一般化状態空間モデルとベイズフィルタ

8. 深層学習の基礎（１）
・深層ニューラルネットワーク
・畳み込みニューラルネットワーク
・基本的な層

9. 深層学習の基礎（２）
・誤差逆伝搬法と最適化アルゴリズム（ミニバッチSGD、Adamなど）
・正規化、正則化、データ拡張
・深層学習のための実践的Tips

10. 深層学習による識別（１）
・識別／分類のための基本的なアーキテクチャ

11. 深層学習による識別（２）
・セグメンテーション・全層畳み込みネットワーク
・物体検出・検出のための基本的なアーキテクチャ

12. 半教師あり学習
・半教師あり学習とは
・古典的方法
・疑似ラベリング
・Teacher-Studentモデル

13. 敵対的学習／ドメイン適応
・敵対的学習とは、Generative Adversarial Network、生成モデルの展開
・ドメイン適応、敵対的ドメイン適応、ドメイン適応の派生問題

14. 対照学習／Attention＆後半まとめ
・対照学習とは、計量学習、対照損失、自己教師あり学習
・Attention、Transformer

15. 到達度評価試験

-

-

-