千葉大学 融合理工学府 数学情報科学専攻 数学・情報数理学コース 2023年8月実施 専門 B9

标签：

• 普通最小二乘正规方程与奇异设计矩阵
• 最小二乘残差的正交性

Author

祭音Myyura (co-authored with GPT 6 Astra)

Description

二変量データ $(x_i,Y_i)$ ($1\le i\le n$) に対し、$Y=X\beta+\varepsilon$ とする。$X$ の第 $i$ 行は $(1,x_i)$、$\beta=(\beta_1,\beta_2)^{\mathsf T}$、$x_i$ の標本分散は正とする。誤差は独立同分布で $\varepsilon_i\sim N(0,\sigma^2)$ である。

(1) 対数尤度 $\ell(\beta,\sigma^2)$ を求めよ。(2) $\beta$ の最尤推定量 $\widehat\beta$ を $X,Y$ で表せ。(3) $\widehat\beta$ の分布を求めよ。(4) 固定した $x$ に対し $\widehat\beta_1+x\widehat\beta_2$ の分布を求めよ。(5) $e=Y-X\widehat\beta$ に対し $\operatorname{Cov}(e,\widehat\beta)$ を求めよ。

题目描述

考虑上述带截距的正态线性回归，设计点的样本方差为正。(1) 求对数似然。(2) 用矩阵表示回归系数的最大似然估计。(3) 求估计向量分布。(4) 求固定 $x$ 处拟合均值的分布。(5) 求残差向量与系数估计向量的协方差。

Kai

$S_{xx}=\sum_i(x_i-\overline x)^2>0$ とおく。このとき $X^{\mathsf T}X$ は正則である。

(1)

$$\boxed{\ell(\beta,\sigma^2)=-\frac n2\log(2\pi\sigma^2) -\frac1{2\sigma^2}(Y-X\beta)^{\mathsf T}(Y-X\beta)}.$$

(2)

$\sigma^2>0$ を固定した最大化は残差平方和の最小化と同値であり、正規方程式から

$$\boxed{\widehat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}Y}.$$

残差平方和が正の場合は、$\widehat\sigma^2=\|Y-X\widehat\beta\|^2/n$ と合わせて同時最尤推定量となる。残差平方和が $0$ の場合は、$\sigma^2\downarrow0$ で尤度が発散するため有限の同時最大値は存在しないが、上式の最小二乗推定量は定義できる。

(3)

正規ベクトルの線形変換より

$$\boxed{\widehat\beta\sim N_2\left(\beta,\sigma^2(X^{\mathsf T}X)^{-1}\right)}.$$

(4)

$$\boxed{\widehat\beta_1+x\widehat\beta_2 \sim N\left(\beta_1+x\beta_2, \sigma^2\left[\frac1n+\frac{(x-\overline x)^2}{S_{xx}}\right]\right)}.$$

(5)

$P=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}$ とすると $e=(I-P)Y$ である。従って

$$\boxed{\operatorname{Cov}(e,\widehat\beta) =\sigma^2(I-P)X(X^{\mathsf T}X)^{-1}=0_{n\times2}}.$$