早稲田大学 創造理工学研究科 経営システム工学専攻 2017年7月実施 統計科学 問題3

标签：

• Waseda-University
• Least-Squares-Method
• Multiple-Regression
• Multicollinearity
• Principal-Component-Analysis

Author

祭音Myyura

Description

1. 切片を持たない重回帰モデル

   に対し、

   とする。 のもとで の最小二乗推定量を求めよ。

2. 多重共線性を説明せよ。

3. 標準化された2変量 の相関係数が である。第1主成分とその寄与率を求めよ。

Kai

[小問 1]

残差平方和を で偏微分して0とおくと、正規方程式

を得る。 なので逆行列が存在し、

[小問 2]

説明変数同士に強い線形関係がある状態を多重共線性という。このときデザイン行列の列がほぼ線形従属となり、 が特異に近づく。その結果、回帰係数の分散が大きくなり、データの小さな変化で推定値の符号や大きさが激変する。予測精度が直ちに悪化しない場合でも、各変数の効果の解釈は不安定になる。変数の削減、主成分回帰、リッジ回帰などが代表的な対処法である。

[小問 3]

標準化後の相関行列は

固有値は であり、最大固有値 に対応する単位固有ベクトルは である。したがって第1主成分は

総分散は なので寄与率は