応用確率論特論

Topics in Applied Probability

991JC05

14MAPTS507

黒沢　健

Takeshi Kurosawa

2023年度前期

2023/First semester

火曜2限

Tue. 2nd period

理学研究科　応用数学専攻

Department of Applied Mathematics, Graduate School of Science

2.0単位

講義

Lecture

-

対面授業/On-site class

いわゆる、線形回帰モデルについて基本的な理論を学ぶ。特に最小二乗推定量を中心とした理論について学ぶ。まずは多変量における不偏性や最小分散性などの意味を理解し、最小二乗回帰による推定量の尤もらしさをGauss Markovの定理を通して理解する。第二部として均一分散の下で、FWLの定理を学び、推定biasの存在を知り、部分ベクトルの（正確な）検定統計量について理解する。第三部として, OLSに仮定されている仮定の緩和とその解決法について理解する。不均一分散の検出や自己相関データについて学び、その解決法としてWLS法や一般化階差法について理解する。最後に、一般線形モデル(GLS)や実行可能な一般線形モデル(FGLS)について学ぶ。場合によっては第三部として下記の内容に触れる可能性もある。同時型方程式を導入し、内生性biasの存在について触れ、大標本理論の下での一致推定を阻害する条件について学び、その同値な条件について理解する。続いて外生変数を導入し、同時型方程式の一つの解法であるILSについて学び、一致推定量を得るための必要条件などについて理解する。また同時型方程式を含む線形回帰モデルに対して、操作変数による解法を学び、その特殊な手法である二段階最小二乗法(2SLS)について学ぶと共に、識別性の条件について理解する。時間が許せば、不均一分散の下での推定法（WLS)や時系列モデル（系列相関モデル）での推定法（一般化階差法）を学びつつ、GLS（Generalized LS）の推定法について学ぶ。また実行可能なGLS（もしくはWLS）などの手法などについて学ぶ。

We learn a basic theory for a linear model. We especially focus on an estimator of unknown parameters in linear models by the least squares. As an introduction, we review the meaning of unbiasedness and the minimum variance in the context of the multivariate case, and then we distinguish estimators between under conditional covariates and without them. We provide supportive evidence for the least squares through the Gauss-Markov theorem. In the second part, we learn the FWL theorem, the endogenous bias, and the exact test statistics for the sub-vector of the unknown parameters under homoscedasticity error variance. In the last part, we consider the deregulation of the assumption on the ordinal least squares and learn how to solve the models under the weakened assumptions. Under a general situation, there might be a heteroscedastic or auto-correlated dataset. As one of the solutions, we learn the WLS and the method of differences. Finally, we learn the general least squares (GLS)or feasible GLS which include previous models. In the last part, we might learn different subjects below. We introduce homogeneous equations and endogenous bias in a system of equations. A violating condition for consistency and equivalent conditions as well are discussed in the large sample theory. In contrast to the endogenous variables, we treat exogenous variables to get the consistency of the unknown parameters. The exogenous variables are key points to learn ILS which is one of the methods for solving homogeneous equations, which ensures consistency of the estimate. Other methods such as the two-stage least-square method (2SLS) which is a special case of the instrumental variable method are discussed as well. As far as we have time to discuss, we introduce the WLS which is a method to obtain an estimate of the unknown parameters under a heteroscedastic error structure. Further, we handle a time-dependent error structure including moving average or autoregressive model error structures. As one of the approaches for a heteroscedastic problem, we study the first difference model, the generalized least squares, or the feasible generalized least squares.

様々な仮定の下での線形でモデルの違いと、検定統計量、回帰係数の一致性などの概念を理解すること。

Understand differences among under various assumptions and test statistics and consistency of unknown parameters in a linear model.

それぞれのモデルの違いを理解し、具体的に問題設定に沿ったモデルの構築、およびそのモデルの検定が具体的にできることを目標とする。

To understand differences in various models, to construct a suitable model under an assumption, to test for unknown parameters in a linear model.

学部生で習うような統計学の基礎的な知識（不偏推定量、一致推定量、検定）が不足している場合は事前に勉強しておくこと。また線形代数を多用するため、最低限の線形代数の知識は持ち合わせていることを前提とする。

If basic knowledge for the unbiasedness, consistency, and test statistics are missing, then review them. The minimum knowledge for linear algebra is required for this lecture.

-

-

理論を中心とした講義になるため、具体的な問題に当てはめ、講義で設定している状況と照らし合わせながら復習するとよい。

Theoretical Lectures are given. Review them assuming a concrete situation that you evoke.

基本的な評価は授業中に出すレポートで行う。
課題：100%　

I assess homework.


[コロナ禍における変更]
上記はコロナ禍にないときの想定している評価方法のため、コロナ禍においては課題の提出状況及び授業への取り組み状況をもって評価する。

・S：到達目標を十分に達成し、極めて優秀な成果を収めている
・A：到達目標を十分に達成している
・B：到達目標を達成している
・C：到達目標を最低限達成している
・D：到達目標を達成していない
・-：学修成果の評価を判断する要件を欠格している

・S：Achieved outcomes, excellent result
・A：Achieved outcomes, good result
・B：Achieved outcomes
・C：Minimally achieved outcomes
・D：Did not achieve outcomes
・-：Failed to meet even the minimal requirements for evaluation

-

-

教科書および一部の参考書は、MyKiTS (教科書販売サイト) から検索・購入可能です。
It is possible to search for and purchase textbooks and certain reference materials at MyKiTS (online textbook store).
​https://gomykits.kinokuniya.co.jp/tokyorika/​​​

講義の「流れ」はA.S. ゴールドバーガー 「計量経済学入門」を使って行うが、本書だと一変量(単回帰)の話が中心であるため、講義の流れを理解するため、もしくは、理論の背景にある経済モデルを知るため、もしくは講義に全くついていけないときに参考になる。出来る限り行列を使って一般的な理論を講義で扱うため、浅野、中村 「計量経済学」が参考になる。講義で左記参考書を超える内容を扱っている部分は、洋書ではあるがJ. M. Wooldridgeの「Econometric Analysis of Cross Section and Panel Data」 を参考にすると良い。econometricsの参考書を挙げているが、講義では統計的手法を中心とした内容と思ってもらって差し支えなく、経済学の知識は一切必要ない。

A flow of the lectures is organized using ``A Course in Econometrics'' by Goldberger. However, the book is very primitive because it treats a simple regression model. It may help you if you want to understand the background of the theory or to catch up with the lectures in a case where you cannot understand the lectures at all. As possible as I can, I discuss a general case, thus ``the econometrics'' by Asano and Nakano is useful to confirm your understandings and it is written in Japanese. The contents beyond the books are discussed in ``Econometric Analysis of Cross Section and Panel Data'' by J. M. Wooldridge. Although the referential books include the econometrics in the titles, you don't care about it. I don't use any knowledge about economics.

01. イントロおよび一変量線形回帰モデル
MVLUE（BLUE）について復習し、説明変数を確率変数として考える場合と、非確率変数として考える場合の線形回帰モデルの違いについて理解し、確率変数として扱った場合において、線形回帰モデルにおける条件付き期待値と条件付き期待値の推定量について理解する。

02. Gauss Markovの定理(一変量線形回帰モデル)
一変量回帰モデルにおけるGauss Markovの定理を理解する。

03. 均一分散(homoskedasticity)における多変量線形回帰モデル
多変量のときの最小二乗推定量の導出および決定係数と分散分解の関係性について学ぶ。

04. Gauss Markovの定理の準備
対称行列の順序や分散最小性の意味ついて理解する。

05. Gauss Markovの定理と正射影
Gauss Markovの定理の証明および分散の不偏推定量と、正射影について理解する。

06. FWLの定理(二変量)
ショート回帰、ロング回帰、補助回帰、残差回帰について学び、二変量の時の除外変数ルールについて学び、二変量におけるFWLの定理について理解する。

07. FWLの定理(多変量)
多変量のFWLの定理の証明とFWLの定理の各種応用を理解する。

08. 検定
線形回帰モデルに分布を仮定し、帰無仮説の下で従う分布について学ぶ。コレスキー分解などの基礎を復習した後に、単純な検定について理解する。

09. 部分ベクトルが従う分布
FWLの定理を用いて、部分ベクトルの従う分布について理解する。

10. 各種検定法のまとめ
線形回帰モデルにおいて帰無仮説を考える状況などを理解し、その具体的な検定方法について理解する。

11．仮定の緩和
仮定の緩和とWLS法について理解する。

12．不均一分散の検出法と自己相関データ
Breusch Pegan testやGoldfeld Quandt testについて理解する。
また各種自己相関を持ったデータについて理解する。

13．一般化階差法
一般化解作法及び検定について理解する。

14．GLSとFGLS
GLSおよびFGLSについて理解する。

15．課題の解説
課題の解説を行い、講義の内容を振り返る。

場合によっては下記の内容に変えるの可能性もある。

11. 確率極限と一致推定量
内生性Biasについて学び、大標本の下で一致推定を阻害するための条件について学び、内生性Biasが発生する主な条件を理解する。

12. 同時方程式系と同時性Bias
構造型方程式と誘導型方程式の違いを理解し、内生変数のみが存在するときの同時方程式系に存在する同時性Biasについて理解し、条件付き期待値が生むBiasについて理解する。また間接最小二乗法（ILS）の概念を理解する。

13. 外生変数とILS
外生変数を導入したILSと識別性の問題について理解する。

14. 操作変数法と2段階最小二乗法
操作変数法の概念とその特殊形である2段階最小二乗法について理解する。

15. 到達度確認とまとめ
目標にあげた達成度を確認し、講義のまとめをおこなう。


01. Introduction and a simple regression model
Review the MVLUE (BLUE) and understand the difference between the model with conditional case and without. We confirm that the random variable case coincides with the conditional expectation.

02. Gauss Markov Theorem with one covariate.
Understand the Gauss-Markov theorem with one covariate.

03. Multivariate linear regression under homoskedasticitic variance.
Understand a derivation of the least-squares estimate with multivariate covariates and learn the relationship between the coefficient of determination and the variance decomposition.

04. Preparation for the Gauss-Markov theorem
Understand the order of symmetric matrices and the meaning of the minimum variance.

05. The Gauss-Markov theorem and its geometrics
Understand the proof of the Gauss-Markov theorem, the unbiasedness of the variance, and orthogonal projections.

06. FWL Theorem (two covariates)
Understand the short regression, the long regression, the residual regression, and the complementary regression.

07. FWL Theorem (multi-variates)
Understand proof of the FWL theorem and applications.

08. Test
Understand a certain null distribution under assuming a distribution on error random variables.
Review the Cholesky decomposition and understand a simple test.

09. A distribution of sub-vector
Understand a distribution that is derived using the FWL theorem.

10. Summarizing some tests
Understand concrete tests under possible null hypotheses.

11. Deregulation of assumptions
Understand deregulation on assumptions and learn the weighted least squares(WLS)

12. Detect Heteroscedasticity and auto-correlated data
Understand the Breusch Pegan and Goldfeld Quandt tests.
Confirm auto-correlated data.

13. Method of differences
Understand the method of differences.

14. GLS and FGLS
Understand the general least squares (GLS) and the feasible GLS.

15. Summary
Confirm the upholding objective.

or

11. A probability limit and a consistent estimator
Understand the endogenous bias and conditions which prevent from getting consistency.

12. Simultaneous equations and simultaneous bias
Understand the difference between structural equations and reduced equations. Understand the existence of the homogeneous bias only with endogenous variables and the relationship with the conditional expectation. Furthermore, understand the concept of the indirect least squares.

13. The exogenous variables and the ILS method
Understand the exogenous variables and the ILS method.

14. The instrumental variable method and two-stage least squares
Understand the concept of the instrumental variable method and the two-stage least squares as a special case of the IV method.

15. Summary
Confirm the upholding objective.

あり
Yes

-

-

特になし

Nothing special