映像メディア処理特論

映像メディア処理特論

994G25A

46CSINS502

谷口　行信

Yukinobu Taniguchi

2023年度後期

2023 Second Semester

月曜5限

Monday 5th Period

工学研究科　情報工学専攻

Department of Information and Computer Technology, Graduate School of Engineering

2.0単位

講義

Lecture

-

ブレンド型授業（半数回以上を対面実施）Blended format(with 50%-or-more on-site classes)

画像・映像メディアは人にとって直観的で分かりやすい情報表現であり，様々な分野で画像・映像の活用が進んでいる．コンピュータビジョンの分野で発展しつつある要素技術について、輪読・課題演習を通じて理解を深める．

Images and videos are intuitive and efficient visual media that are widely used in many situations. This lecture deals with the recent topics and techniques that are developing in the field of computer vision through reading and exercises in turns.

画像認識，コンピュータビジョンの要素技術について理解を深める．

The aim of this lecture is to acquire the knowledge of recent topics and techniques in image recognition and computer vision.

・画像認識・コンピュータビジョンのいくつかのトピック，要素技術について概要を理解し説明できる．
・公開ライブラリを用いた簡単なプログラムを作成できる．

Aiming to be able:
to demonstrate the knowledge of some recent topics and techniques in image recognition and computer vision,
to create simple programs using public libraries, understanding the recent topics and techniques.

・画像処理の基礎知識が必要（情報工学科選択科目「画像処理」のレベル）
・OpenCV, Numpy等を用いた課題に取り組むためPythonの知識を持っていることが望ましい．
・日本語で講義を行う．日本語の理解が困難な留学生がいる場合は英語で補足する．

Required is the basic knowledge on image processing, which is at the same level as the undergraduate course “Image Processing”.
Python programming skill is desirable to work on assignments using libraries such as OpenCV and Numpy.
Lectures will be given in Japanese. If there is an international student who has difficulty in understanding Japanese, some supplemental descriptions will be given in English

ディベート・ディスカッション　Debate/Discussion／プレゼンテーション　Presentation

-

・教科書を読んでプレゼンテーションの準備を行う（プレゼンテーションは1回以上）．
・授業で学んだ知識を利用して課題に取り組みレポートを作成する（3回）．　

Read the textbook before each class and prepare for the presentation, which is assigned at least once per person.
Work on assignments based on the knowledge learned in classes (three times)

授業でのプレゼンテーション・貢献度(60%)，課題レポート（40％）を総合して評価する．

To be evaluated by in-class presentation and participation in discussion (60%), assignment reports (40%)

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

N

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​https://gomykits.kinokuniya.co.jp/tokyorika/​​​

1.を教科書として使用する。

1. 米谷竜，斎藤英夫（編著），コンピュータビジョン−広がる要素技術と応用−, 未来へつなぐデジタルシリーズ，共立出版, 2018.
2. Richard Szeliski, “Computer Vision: Algorithms and Applications 2nd Edition,” Springer, 2022. (https://szeliski.org/Book/download.php)
3. CG-ARTS協会「デジタル画像処理」CG-ARTS協会．

1. Ryo Yonetani and Hideo Saito (eds.), “Computer Vision: Extending Fundamental Techniques and Applications,” Kyoritsu Publishing, 2018.
2. Richard Szeliski, “Computer Vision: Algorithms and Applications 2nd Edition,” Springer, 2022. (https://szeliski.org/Book/download.php)
3. CG-ARTS, “Digital Image Processing – second edition,” CG-ARTS, 2020.

1. ガイダンス
　授業の概要，映像メディア処理の概要と応用分野

2. 深層ネットワークの基礎
　多層パーセプトロン，計算グラフ，逆誤差伝播法

3. 畳み込みニューラルネットと画像認識
　畳み込みニューラルネット(CNN)，画像分類，物体検出，画像変換

4. 演習課題(1)：深層ネットワークのフレームワーク

5. カメラキャリブレーション
　ピンホールカメラモデル，内部パラメータ，外部パラメータ，レンズ歪み

6. 多視点画像を用いた3次元復元
　Structure from Motion (SfM), PnP問題

7. 拡張現実感のためのコンピュータビジョン技術
　拡張現実感，特徴点マッチング，ホモグラフィ，SLAM

8. 近似近傍探索
　ショートコード（ハッシング），データ構造

9. 演習課題(2) : カメラキャリブレーション

10. 顔認識
　顔認識，顔の位置合わせ，特徴抽出

11. 人物属性認識
　人物属性推定，人物照合

12. 単視点からの人物行動認識
　行動認識，時系列画像認識，Dense Trajectories (DT)

13. RGBD画像と3次元物体認識
　RGBD画像，3次元点群，3次元特徴量

14. 演習課題(3)：顔認識，人物属性認識

15. まとめ・ディスカッション

1. Guidance
 Course outline, Visual media processing overview and applications.

2. Basics on Deep Neural Nets (DNN)
  Multilayer perceptron, Computational graph, Backpropagation

3. Convolutional Neural Network and Its Applications to Image Recognition
  Convolutional Neural Network (CNN), Image classification, Object detection, Image transformation

4. Assignment (1): Deep learning framework
 
5. Camera calibration
  Pinhole camera model, intrinsic and extrinsic camera parameter, lens distortion

6. Structure from Motion and Multi-View Stereo
  Structure from Motion (SfM), Perspective-n-Point (PnP) problem

7. Computer Vision Techniques for Augmented Reality
  Augmented reality, Feature point matching, Homography, SLAM

8. Approximate Neighbor Search
  Short code (Hashing)

9. Assignment (2): Camera calibration

10. Face Recognition
  Face recognition, Face alignment, Facial feature extraction

11. Person Attribute Recognition
  Person Attribute Estimation, Person Re-Identification

12. Human Action Recognition from Monocular Cameras
  Action Recognition, Temporal Image Recognition, Dense Trajectories (DT)

13. Three-Dimensional Object Recognition from RGBD Images
  RGBD image, 3D point cloud, 3D key-point and feature

14. Assignment (3): Face recognition, Person Attribute Recognition

15. Conclusion and discussion

-

-

Python, OpenCV