東京工業大学 情報理工学院 数理・計算科学系 2022年8月実施 概率统计

标签：

• TITech
• Independence-of-Random-Variables
• Expectation-and-Variance
• Maximum-Likelihood-Estimation
• Cumulative-Distribution-Function-and-Probability-Density-Function

Author

思齐塾, 祭音Myyura

Description

確率変数 $X, X_1, \dots, X_n$ は独立に同一の分布にしたがい，その確率密度関数は

$$p(x; \theta_0) = \begin{cases} (\theta_0 + 1)x^{\theta_0}, & 0 < x < 1, \\ 0, & \text{その他} \end{cases}$$

で与えられるとする．ここで $\theta_0$ は $\theta_0 > -1$ を満たす定数である．以下の問いに答えよ．

(1) $s > -(\theta_0 + 1)$ を満たす実数 $s$ に対して， $X^s$ の期待値 $E[X^s]$ を求めよ．

(2) $X_1, \dots, X_n$ が与えられたとき，統計モデル $p(x; \theta), \theta > -1$ のパラメータ $\theta$ に対する最尤推定値 $\hat{\theta}$ を求めよ．

(3) $\hat{\theta} \le 0$ となる確率を $Pr(\hat{\theta} \le 0)$ と表す． $0 < s < n(\theta_0 + 1)$ を満たす実数 $s$ に対して

$$Pr(\hat{\theta} \le 0) \le \frac{(E[X^{-s/n}])^n}{e^s}$$

が成り立つことを証明せよ．

(4) $\theta_0 > 0$ のとき

$$Pr(\hat{\theta} \le 0) \le \left( \frac{1 + \theta_0}{e^{\theta_0}} \right)^n$$

が成り立つことを証明せよ．

题目描述

随机变量 $X,X_1,\ldots,X_n$ 独立同分布，其共同密度为

$$p(x;\theta_0)= \begin{cases} (\theta_0+1)x^{\theta_0},&0<x<1,\\ 0,&\text{其他情形}, \end{cases}$$

其中常数 $\theta_0>-1$。

1. 对满足 $s>-(\theta_0+1)$ 的任意实数 $s$，求 $E[X^s]$。
2. 给定样本 $X_1,\ldots,X_n$，在统计模型 $p(x;\theta)$（$\theta>-1$）中求参数 $\theta$ 的最大似然估计 $\hat\theta$。
3. 用 $\Pr(\hat\theta\leq0)$ 表示事件 $\hat\theta\leq0$ 的概率。证明对每个满足

$$0<s<n(\theta_0+1)$$

的实数 $s$，都有

$$\Pr(\hat\theta\leq0) \leq \frac{\bigl(E[X^{-s/n}]\bigr)^n}{e^s}.$$

4. 当 $\theta_0>0$ 时，证明

$$\Pr(\hat\theta\leq0) \leq \left(\frac{1+\theta_0}{e^{\theta_0}}\right)^n.$$

Kai

解答

(1)

$s>-(\theta_0+1)$ なら $\theta_0+s>-1$ なので

$$\mathbb E[X^s]=(\theta_0+1)\int_0^1x^{\theta_0+s}\,dx =\boxed{\frac{\theta_0+1}{\theta_0+s+1}}.$$

(2)

標本が $0<X_i<1$ を満たす場合の対数尤度は

$$\ell(\theta)=n\log(\theta+1)+\theta\sum_{i=1}^n\log X_i, \qquad \theta>-1.$$

従って

$$\ell'(\theta)=\frac{n}{\theta+1}+\sum_{i=1}^n\log X_i, \qquad \ell''(\theta)=-\frac{n}{(\theta+1)^2}<0.$$

$\sum_i\log X_i<0$ なので唯一の最大点は

$$\boxed{\hat\theta=-\frac{n}{\sum_{i=1}^n\log X_i}-1}.$$

これは $\hat\theta>-1$ を満たす。なお $X_i\in(0,1)$ は確率1で成立する。

(3)

$T=-\sum_{i=1}^n\log X_i>0$ とおけば $\hat\theta=n/T-1$ だから

$$\{\hat\theta\le0\}=\{T\ge n\}.$$

$s>0$ に対し $e^{sT/n}$ へマルコフの不等式を適用すると

$$\begin{aligned} P(\hat\theta\le0) &=P(e^{sT/n}\ge e^s)\\ &\le e^{-s}\mathbb E[e^{sT/n}]\\ &=e^{-s}\mathbb E\left[\prod_{i=1}^nX_i^{-s/n}\right]\\ &=\frac{(\mathbb E[X^{-s/n}])^n}{e^s}. \end{aligned}$$

最後の等号では独立同分布性を使った。また $s<n(\theta_0+1)$ は $-s/n>-(\theta_0+1)$ と同値なので、(1)により期待値は有限である。

(4)

(1)から

$$\mathbb E[X^{-s/n}]=\frac{\theta_0+1}{\theta_0+1-s/n}.$$

$\theta_0>0$ のとき $s=n\theta_0$ と選べば $0<s<n(\theta_0+1)$ で、分母は1になる。(3)へ代入して

$$P(\hat\theta\le0)\le e^{-n\theta_0}(\theta_0+1)^n =\boxed{\left(\frac{1+\theta_0}{e^{\theta_0}}\right)^n}.$$