東京工業大学 情報理工学院 数理・計算科学系 2021年8月実施 概率统计

标签：

• TITech
• Independence-of-Random-Variables
• Expectation-and-Variance
• Normal-Distribution
• Maximum-Likelihood-Estimation

Author

思齐塾, 祭音Myyura

Description

$x, y$ を実数， $n$ を正の整数， $\theta$ を $|\theta| < 1$ を満たす実数とする．パラメータ $\theta$ が与えられたとき， $\mathbb{R}^2$ 上の確率密度関数

$$p(x, y; \theta) = C(\theta) \exp \left( -\frac{1}{2}(x^2 + y^2 - 2\theta xy) \right)$$

を持つ確率分布を $\mathcal{N}(\theta)$ と書く．ここで $C(\theta)$ は $\theta$ の関数であり $(x, y)$ には依存しない． $(X_1, Y_1), (X_2, Y_2), \dots, (X_n, Y_n)$ を $\mathbb{R}^2$ に値をとる確率変数とし， $\mathcal{N}(\theta)$ に独立に従うとする．また $\theta$ の関数 $f(\theta)$ を

$$f(\theta) = \frac{\theta}{1 - \theta^2}$$

と定義する．以下の問いに答えよ．ただし次の公式を証明なしで用いてもよい．

$$a > 0 \text{ ならば } \int_{-\infty}^{\infty} \exp(-ax^2/2) dx = \sqrt{2\pi/a}.$$

(1) 関数 $C(\theta)$ を求めよ．

(2) $(X_1, Y_1), (X_2, Y_2), \dots, (X_n, Y_n)$ が与えられたときのパラメータ $\theta$ の最尤推定量を $\hat{\theta}$ とする． $f(\hat{\theta})$ を $X_1, X_2, \dots, X_n$ および $Y_1, Y_2, \dots, Y_n$ を用いて表せ．

(3) $(X_1, Y_1), (X_2, Y_2), \dots, (X_n, Y_n)$ が $\mathcal{N}(0)$ に独立に従うとする． $f(\hat{\theta})^2$ の期待値を求めよ．

题目描述

设 $x,y\in\mathbb R$，$n$ 为正整数，参数 $\theta$ 满足 $|\theta|<1$。以 $\mathcal N(\theta)$ 表示 $\mathbb R^2$ 上具有密度

$$p(x,y;\theta) =C(\theta)\exp\!\left[-\frac12(x^2+y^2-2\theta xy)\right]$$

的分布，其中 $C(\theta)$ 只依赖于 $\theta$。设二维随机向量

$$(X_1,Y_1),\ldots,(X_n,Y_n)$$

相互独立且均服从 $\mathcal N(\theta)$，并定义

$$f(\theta)=\frac{\theta}{1-\theta^2}.$$

可以直接使用 Gaussian 积分公式

$$\int_{-\infty}^{\infty}e^{-ax^2/2}\,dx =\sqrt{\frac{2\pi}{a}}, \qquad a>0.$$

1. 求归一化常数 $C(\theta)$。
2. 给定上述 $n$ 组观测，记 $\theta$ 的最大似然估计量为 $\hat\theta$。用 $X_1,\ldots,X_n$ 和 $Y_1,\ldots,Y_n$ 表示 $f(\hat\theta)$。
3. 若各组随机向量实际独立服从 $\mathcal N(0)$，求 $E[f(\hat\theta)^2]$。

Kai

(1)

平方完成すると

$$x^2+y^2-2\theta xy=(x-\theta y)^2+(1-\theta^2)y^2.$$

$|\theta|<1$ なので，提示されたガウス積分を順に用いて

$$\begin{aligned} &\int_{\mathbb R^2}\exp\left[-\frac12(x^2+y^2-2\theta xy)\right]dx\,dy\\ &\quad=\int_{-\infty}^{\infty}e^{-(1-\theta^2)y^2/2} \left\{\int_{-\infty}^{\infty}e^{-(x-\theta y)^2/2}\,dx\right\}dy\\ &\quad=\sqrt{2\pi}\sqrt{\frac{2\pi}{1-\theta^2}} =\frac{2\pi}{\sqrt{1-\theta^2}}. \end{aligned}$$

密度の積分を1にするには

$$\boxed{C(\theta)=\frac{\sqrt{1-\theta^2}}{2\pi}}$$

である。

(2)

$S=\sum_{i=1}^{n}X_iY_i$ とおく。観測値に依存しない項を除いた対数尤度は

$$\ell(\theta)=\frac n2\log(1-\theta^2)+\theta S+\text{const.}$$

したがって

$$\ell'(\theta)=-\frac{n\theta}{1-\theta^2}+S=-nf(\theta)+S.$$

また

$$\ell''(\theta)=-n\frac{1+\theta^2}{(1-\theta^2)^2}<0,$$

かつ $f$ は $(-1,1)$ から $\mathbb R$ への狭義単調増加な全単射であるから，停留点は一意な最尤点である。よって

$$\boxed{f(\hat\theta)=\frac1n\sum_{i=1}^{n}X_iY_i}.$$

(3)

$\theta=0$ のとき

$$p(x,y;0)=\frac1{2\pi}e^{-(x^2+y^2)/2}$$

なので，各 $X_i,Y_i$ は互いに独立な標準正規確率変数である。特に

$$E[X_iY_i]=E[X_i]E[Y_i]=0,\qquad E[(X_iY_i)^2]=E[X_i^2]E[Y_i^2]=1.$$

さらに標本の組は独立だから， $i\neq j$ では $E[X_iY_iX_jY_j]=0$ である。従って

$$\begin{aligned} E[f(\hat\theta)^2] &=\frac1{n^2}E\left[\left(\sum_{i=1}^{n}X_iY_i\right)^2\right]\\ &=\frac1{n^2}\sum_{i=1}^{n}E[(X_iY_i)^2] =\boxed{\frac1n}. \end{aligned}$$