東京工業大学 情報理工学院 数理・計算科学系 2017年8月実施 午前 問6

标签：

• TITech
• Maximum-Likelihood-Estimation
• Exponential-Distribution

Author

GPT-5

Description

$a>0$ とし、$0<x<1$ 上の確率密度を

$$p(x\mid a)=\frac{x^{(1-a)/a}}{a}$$

とする。$X_1,\ldots,X_n$ は互いに独立に $p(x\mid\sqrt2)$ に従う。対数尤度

$$L(a)=\sum_{i=1}^n\log p(X_i\mid a)$$

を最大にする $a$ を $A_n$ とする。

(1) $A_n$ を $X_1,\ldots,X_n$ で表せ。

(2) $b>0$ と $k=1,2$ に対し、$\int_0^1(\log x)^k x^{b-1}\,dx$ を求めよ。

(3) $A_n$ の期待値と分散を求めよ。

(4) $0\leq c<1/2$ のとき、$E[n^c|A_n-\sqrt2|]\to0$ を示せ。

题目描述

设 $a>0$，在 $0<x<1$ 上定义概率密度

$$p(x\mid a)=\frac{x^{(1-a)/a}}{a}.$$

随机变量 $X_1,\ldots,X_n$ 相互独立，且都服从密度 $p(x\mid\sqrt2)$。定义对数似然

$$L(a)=\sum_{i=1}^n\log p(X_i\mid a),$$

并令 $A_n$ 为使 $L(a)$ 最大的 $a$。

1. 用 $X_1,\ldots,X_n$ 表示 $A_n$。

2. 对 $b>0$ 及 $k=1,2$，计算

   $$\int_0^1(\log x)^k x^{b-1}\,dx.$$

3. 求 $A_n$ 的期望与方差。

4. 对 $0\leq c<\frac12$，证明

   $$E\!\left[n^c\left|A_n-\sqrt2\right|\right]\longrightarrow0.$$

考点

• 最大似然估计：对给定单参数密度构造并微分对数似然，把估计量写成样本对数的函数。
• 对数矩与指数分布：通过参数积分或变量变换计算 $\log X_i$ 的一、二阶矩，进而求 $A_n$ 的均值和方差。
• 均方控制下的收敛速度：用 Cauchy–Schwarz 不等式和方差的 $1/n$ 阶估计证明所要求的 $L^1$ 收敛。

Kai

(1)

$S=\sum_{i=1}^n\log X_i$ とおくと

$$L(a)=\left(\frac1a-1\right)S-n\log a.$$

したがって

$$L'(a)=-\frac{S}{a^2}-\frac{n}{a}=0$$

を解いて

$$\boxed{A_n=-\frac1n\sum_{i=1}^n\log X_i}.$$

$0<X_i<1$ より $S<0$ で $A_n>0$ である。またこの点で $L''(A_n)=S/A_n^3<0$ なので一意な最大点である。

(2)

$\int_0^1x^{b-1}\,dx=1/b$ を $b$ で微分すれば

$$\boxed{\int_0^1(\log x)x^{b-1}\,dx=-\frac1{b^2}},$$

さらにもう一度微分して

$$\boxed{\int_0^1(\log x)^2x^{b-1}\,dx=\frac2{b^3}}.$$

(3)

$Y_i=-\log X_i$ とする。変数変換 $x=e^{-y}$ により、一般に $X_i\sim p(x\mid a)$ なら

$$f_{Y_i}(y)=\frac1a e^{-y/a}\qquad(y>0),$$

すなわち $Y_i$ は平均 $a$、分散 $a^2$ の指数分布に従う。本問では $a=\sqrt2$ で、$A_n=n^{-1}\sum_iY_i$ だから

$$\boxed{E[A_n]=\sqrt2, \qquad\operatorname{Var}(A_n)=\frac2n}.$$

(4)

Cauchy-Schwarz の不等式より

$$\begin{aligned} E[n^c|A_n-\sqrt2|] &\leq n^c\sqrt{E[(A_n-\sqrt2)^2]}\\ &=n^c\sqrt{\operatorname{Var}(A_n)} =\sqrt2\,n^{c-1/2}. \end{aligned}$$

$c<1/2$ なので右辺は 0 に収束する。従って所望の期待値も 0 に収束する。