自然言語処理特論｜シラバス情報

科目授業名称（和文）　Name of the subject/class (in Japanese)

自然言語処理特論

科目授業名称（英文）　Name of the subject/class (in English)

Advanced Natural Language Processing

授業コード　Class code

994G611

科目番号　Course number

46CSINS504

教員名

柴田　知秀

Instructor

Tomohide Shibata

開講年度学期

2026年度後期

Year

2026年度

Semester

②Second semester

曜日時限

水曜4限

Class hours

Wednesday 4th Period

開講学科・専攻　Department

工学研究科　情報工学専攻

Department of Information and Computer Technology, Graduate School of Engineering

単位数　Course credit

2.0単位

授業の方法　Teaching method

講義 Lecture

外国語のみの科目（使用言語）　Course in only foreign languages (languages)

-

授業の主な実施形態　Main class format

① [対面]対面授業/ [On-site] On-site class

概要　Description

自然言語処理（Natural Language Processing, NLP）とは，日本語や英語など，私たちが普段使う言語（自然言語）をコンピュータに理解・処理させる研究分野である．コンピュータによる自然言語の理解は長らく難しいとされてきたが，深層学習および大規模言語モデル（LLM）の発展によって，驚くべき進展を遂げている．本講義では，自然言語処理における深層学習の利用と，大規模言語モデルの基礎から最近の動向までを解説する．

Natural Language Processing (NLP) is a research field that aims to enable computers to understand and process the languages we use in everyday life, such as Japanese and English. Although understanding natural language by computers has been considered a difficult task for a long time, remarkable progress has been made through the development of deep learning and large language models (LLMs). This course covers the use of deep learning in natural language processing, as well as the fundamentals and recent trends of LLMs.

目的　Objectives

自然言語処理における近年の進展である深層学習の利用と大規模言語モデルについて，基礎から応用まで理解する．
本科目は，本専攻のディプロマ・ポリシーに定める「情報工学分野に応じた高度な専門知識」を身に付けるための科目である．

The aim of this course is for students to understand the use of deep learning and large language models, both of which represent recent advances in natural language processing, from the fundamentals to their applications.
This course is designed to help students acquire the "advanced expertise in the field of information engineering" specified in the diploma policy of this department.

到達目標　Outcomes

・自然言語処理における深層学習の利用を理解し，説明できる．
・大規模言語モデルの基礎から最近の動向までを理解し，説明できる．

・Be able to understand and explain the use of deep learning in natural language processing.
・Be able to understand and explain large language models, from the fundamentals to recent trends.

卒業認定・学位授与の方針との関係（学部科目のみ）

履修上の注意　Course notes prerequisites

深層学習および自然言語処理に関する基礎的な知識を有していることが望ましいが，基礎的な知識がなくても理解できるように説明する．

Although it is desirable for students to have basic knowledge of deep learning and natural language processing, the course will be explained in a way that can be understood even without such basic knowledge.

アクティブ・ラーニング科目　Teaching type（Active Learning）

課題に対する作文　Essay

-

準備学習・復習　Preparation and review

毎回の講義後に復習すること．

Review the lecture after each class.

成績評価方法　Performance grading policy

数回のレポートにより評価する．

Evaluation will be based on several reports.

学修成果の評価　Evaluation of academic achievement

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

教科書　Textbooks/Readings

教科書の使用有無（有=Y , 無=N）　Textbook used(Y for yes, N for no)

N

書誌情報　Bibliographic information

-

MyKiTSのURL（教科書販売サイト）　URL for MyKiTS(textbook sales site)

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
https://gomykits.kinokuniya.co.jp/tokyorika/

It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
https://gomykits.kinokuniya.co.jp/tokyorika/

参考書・その他資料　Reference and other materials

・黒橋禎夫，自然言語処理〔三訂版〕，放送大学教育振興会，2023年．
・山田育矢，柴田知秀，進藤裕之，玉木竜二，ディープラーニングによる自然言語処理 (Advanced Python 2) ，共立出版，2023年．
・山田育矢監修，鈴木正敏，山田康輔，李凌寒，大規模言語モデル入門，技術評論社，2023年．
・山田育矢監修，鈴木正敏，西川荘介，藤井一喜，山田康輔，李凌寒，大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価，技術評論社，2024年．

授業計画　Class plan

1. 自然言語処理・深層学習・大規模言語モデルの概要

2. 深層学習の基礎

FFN，誤差逆伝播法，最適化アルゴリズム

3. 単語ベクトルとFFN

word2vec，GloVe，FFN

4. 言語モデルとRNN

古典的n-gram言語モデル，RNN，LSTM

5. Encoder-DecoderモデルとTransformer

Encoder-Decoderモデル，アテンション，Transformer

6. 転移学習 (1)

自己教師あり学習，GPT-1，BERT (1)

7. 転移学習 (2)

BERT (2)，T5

8. 大規模言語モデル：準備

GPT-2/3

9. 大規模言語モデル：事前学習

スケーリング則

10. 大規模言語モデル：事後学習

SFT (Supervised Fine-tuning)，RLHF (Reinforcement Learning from Human Feedback)，DPO (Direct Preference Optimization)

11. 大規模言語モデル：評価

事前学習モデルの評価，事後学習モデルの評価

12. 大規模言語モデル：日本語モデル

13. 安全性

14. 最近の進展

論理推論モデル，ツールの利用，RAG，エージェント

15. 総括

1. Overview of Natural Language Processing, Deep Learning, and Large Language Models

2. Fundamentals of Deep Learning

FFN, Backpropagation, Optimization Algorithms

3. Word Embeddings and FFNs

word2vec, GloVe, FFNs

4. Language Models and RNNs

Classical n-gram Language Models, RNNs, LSTM

5. Encoder-Decoder Models and Transformer

Encoder-Decoder Models, Attention, Transformer

6. Transfer Learning (1)

Self-Supervised Learning, GPT-1, BERT (1)

7. Transfer Learning (2)

BERT (2), T5

8. Large Language Models: Preparation

GPT-2/3

9. Large Language Models: Pre-training

Scaling Laws

10. Large Language Models: Post-training

SFT (Supervised Fine-Tuning), RLHF (Reinforcement Learning from Human Feedback), DPO (Direct Preference Optimization),

11. Large Language Models: Evaluation

Evaluation of Pre-trained Models, Evaluation of Post-trained Models

12. Large Language Models: Japanese Models

13. Safety

14. Recent Developments

Logical Reasoning Models, Tool Use, RAG, and Agents

15. Summary

担当教員の実務経験とそれを活かした教育内容　Work experience of the instructor

大学と企業の双方において長年にわたり自然言語処理の研究に従事してきた経験を活かし，近年の自然言語処理について解説する．

Drawing on many years of experience conducting research in natural language processing in both universities and industry, the course introduces recent developments in natural language processing.

教育用ソフトウェア　Educational software

-

備考　Remarks

授業でのBYOD PCの利用有無　Whether or not students may use BYOD PCs in class

N

授業での仮想PCの利用有無　Whether or not students may use a virtual PC in class

N