東京工業大学 情報理工学院 数理・計算科学系 2017年8月実施 午前 問6

标签：

• TITech
• Maximum-Likelihood-Estimation
• Exponential-Distribution

Author

GPT-5

Description

$a>0$ とし、 $0<x<1$ 上の確率密度を

$$p(x\mid a)=\frac{x^{(1-a)/a}}{a}$$

とする。 $X_1,\ldots,X_n$ は互いに独立に $p(x\mid\sqrt2)$ に従う。対数尤度

$$L(a)=\sum_{i=1}^n\log p(X_i\mid a)$$

を最大にする $a$ を $A_n$ とする。

(1) $A_n$ を $X_1,\ldots,X_n$ で表せ。

(2) $b>0$ と $k=1,2$ に対し、 $\int_0^1(\log x)^k x^{b-1}\,dx$ を求めよ。

(3) $A_n$ の期待値と分散を求めよ。

(4) $0\leq c<1/2$ のとき、 $E[n^c|A_n-\sqrt2|]\to0$ を示せ。

题目描述

对 $a>0$，在 $0<x<1$ 上给定概率密度

$$p(x\mid a)=\frac{x^{(1-a)/a}}{a}.$$

随机变量 $X_1,\ldots,X_n$ 相互独立且均服从 $p(x\mid\sqrt2)$。对候选参数 $a$ 定义对数似然

$$L(a)=\sum_{i=1}^n\log p(X_i\mid a),$$

并把使 $L(a)$ 取得最大值的参数记为 $A_n$。

1. 将 $A_n$ 表示为样本 $X_1,\ldots,X_n$ 的函数。
2. 对任意 $b>0$，分别在 $k=1$ 和 $k=2$ 时求积分

$$\int_0^1(\log x)^k x^{b-1}\,dx.$$

3. 计算 $A_n$ 的期望和方差。
4. 证明对每个 $0\leq c<\frac12$ 都有

$$E\!\left[n^c\left|A_n-\sqrt2\right|\right]\longrightarrow0.$$

Kai

(1)

$S=\sum_{i=1}^n\log X_i$ とおくと

$$L(a)=\left(\frac1a-1\right)S-n\log a.$$

したがって

$$L'(a)=-\frac{S}{a^2}-\frac{n}{a}=0$$

を解いて

$$\boxed{A_n=-\frac1n\sum_{i=1}^n\log X_i}.$$

$0<X_i<1$ より $S<0$ で $A_n>0$ である。またこの点で $L''(A_n)=S/A_n^3<0$ なので一意な最大点である。

(2)

$\int_0^1x^{b-1}\,dx=1/b$ を $b$ で微分すれば

$$\boxed{\int_0^1(\log x)x^{b-1}\,dx=-\frac1{b^2}},$$

さらにもう一度微分して

$$\boxed{\int_0^1(\log x)^2x^{b-1}\,dx=\frac2{b^3}}.$$

(3)

$Y_i=-\log X_i$ とする。変数変換 $x=e^{-y}$ により、一般に $X_i\sim p(x\mid a)$ なら

$$f_{Y_i}(y)=\frac1a e^{-y/a}\qquad(y>0),$$

すなわち $Y_i$ は平均 $a$ 、分散 $a^2$ の指数分布に従う。本問では $a=\sqrt2$ で、 $A_n=n^{-1}\sum_iY_i$ だから

$$\boxed{E[A_n]=\sqrt2, \qquad\operatorname{Var}(A_n)=\frac2n}.$$

(4)

Cauchy-Schwarz の不等式より

$$\begin{aligned} E[n^c|A_n-\sqrt2|] &\leq n^c\sqrt{E[(A_n-\sqrt2)^2]}\\ &=n^c\sqrt{\operatorname{Var}(A_n)} =\sqrt2\,n^{c-1/2}. \end{aligned}$$

$c<1/2$ なので右辺は 0 に収束する。従って所望の期待値も 0 に収束する。