千葉大学 融合理工学府 数学情報科学専攻 数学・情報数理学コース 2022年8月実施 専門 B9

标签：

• 一元线性回归
• 普通最小二乘正规方程与奇异设计矩阵

Author

祭音Myyura (co-authored with GPT 6 Astra)

Description

線形回帰モデル $Y=X\beta+\varepsilon$ を考える。$X$ の第 $i$ 行は $(1,x_i)$、$\beta=(\beta_1,\beta_2)^T$ とし、$x_i$ の標本分散は正とする。誤差は独立同分布で、平均 $0$、分散 $0<\sigma^2<\infty$ とする。

1. 最小二乗推定量 $\widehat\beta$ を $X,Y$ で表せ。
2. 不偏性を示せ。
3. $\widehat\beta_1$ は $\beta_1$ の最良線形不偏推定量であることを示せ。

题目描述

在线性回归 $Y_i=\beta_1+\beta_2x_i+\varepsilon_i$ 中，设计点方差为正，误差独立同分布、均值零、方差 $\sigma^2$。(1) 求最小二乘估计的矩阵式；(2) 证明无偏；(3) 证明截距估计是最佳线性无偏估计。

Kai

(1) $x_i$ がすべて同じではないので $X$ の列は線形独立であり、$X^TX$ は正定値。正規方程式 $X^TX\widehat\beta=X^TY$ より

$$\boxed{\widehat\beta=(X^TX)^{-1}X^TY}.$$

(2) $E[Y]=X\beta$ なので $E[\widehat\beta]=(X^TX)^{-1}X^TX\beta=\beta$。

(3) $e_1=(1,0)^T$、$c=X(X^TX)^{-1}e_1$ とおくと $\widehat\beta_1=c^TY$。任意の線形不偏推定量 $a^TY$ は、全 $\beta$ で不偏であることから $X^Ta=e_1$ を満たす。$d=a-c$ とおけば $X^Td=0$、従って $c^Td=0$。誤差の共分散行列は $\sigma^2I$ なので

$$\operatorname{Var}(a^TY)=\sigma^2\|a\|^2 =\sigma^2\|c\|^2+\sigma^2\|d\|^2 \ge\operatorname{Var}(\widehat\beta_1).$$

よって $\widehat\beta_1$ は最良線形不偏推定量である。