跳到主要内容

東京工業大学 情報理工学院 数理・計算科学系 2022年8月実施 午前 問6

标签：

Author​

思齐塾, 祭音Myyura

Description​

確率変数 X,X1,…,XnX, X_1, \dots, X_n は独立に同一の分布にしたがい，その確率密度関数は

p(x;θ0)={(θ0+1)xθ0,0<x<1,0,その他p(x; \theta_0) = \begin{cases} (\theta_0 + 1)x^{\theta_0}, & 0 < x < 1, \\ 0, & \text{その他} \end{cases}

で与えられるとする．ここで θ0\theta_0 は θ0>−1\theta_0 > -1 を満たす定数である．以下の問いに答えよ．

(1) s>−(θ0+1)s > -(\theta_0 + 1) を満たす実数 ss に対して， XsX^s の期待値 E[Xs]E[X^s] を求めよ．

(2) X1,…,XnX_1, \dots, X_n が与えられたとき，統計モデル p(x;θ),θ>−1p(x; \theta), \theta > -1 のパラメータ θ\theta に対する最尤推定値 θ^\hat{\theta} を求めよ．

(3) θ^≤0\hat{\theta} \le 0 となる確率を Pr(θ^≤0)Pr(\hat{\theta} \le 0) と表す． 0<s<n(θ0+1)0 < s < n(\theta_0 + 1) を満たす実数 ss に対して

Pr(θ^≤0)≤(E[X−s/n])nesPr(\hat{\theta} \le 0) \le \frac{(E[X^{-s/n}])^n}{e^s}

が成り立つことを証明せよ．

(4) θ0>0\theta_0 > 0 のとき

Pr(θ^≤0)≤(1+θ0eθ0)nPr(\hat{\theta} \le 0) \le \left( \frac{1 + \theta_0}{e^{\theta_0}} \right)^n

が成り立つことを証明せよ．

题目描述​

随机变量 X,X1,…,XnX,X_1,\ldots,X_n 独立同分布，其共同密度为

p(x;θ0)={(θ0+1)xθ0,0<x<1,0,其他情形,p(x;\theta_0)= \begin{cases} (\theta_0+1)x^{\theta_0},&0<x<1,\\ 0,&\text{其他情形}, \end{cases}

其中常数 θ0>−1\theta_0>-1。

  1. 对满足 s>−(θ0+1)s>-(\theta_0+1) 的任意实数 ss，求 E[Xs]E[X^s]。
  2. 给定样本 X1,…,XnX_1,\ldots,X_n，在统计模型 p(x;θ)p(x;\theta)（θ>−1\theta>-1）中求参数 θ\theta 的最大似然估计 θ^\hat\theta。
  3. 用 Pr⁡(θ^≤0)\Pr(\hat\theta\leq0) 表示事件 θ^≤0\hat\theta\leq0 的概率。证明对每个满足
0<s<n(θ0+1)0<s<n(\theta_0+1)

的实数 ss，都有

Pr⁡(θ^≤0)≤(E[X−s/n])nes.\Pr(\hat\theta\leq0) \leq \frac{\bigl(E[X^{-s/n}]\bigr)^n}{e^s}.
  1. 当 θ0>0\theta_0>0 时，证明
Pr⁡(θ^≤0)≤(1+θ0eθ0)n.\Pr(\hat\theta\leq0) \leq \left(\frac{1+\theta_0}{e^{\theta_0}}\right)^n.

Kai​

解答​

(1)​

s>−(θ0+1)s>-(\theta_0+1) なら θ0+s>−1\theta_0+s>-1 なので

E[Xs]=(θ0+1)∫01xθ0+s dx=θ0+1θ0+s+1.\mathbb E[X^s]=(\theta_0+1)\int_0^1x^{\theta_0+s}\,dx =\boxed{\frac{\theta_0+1}{\theta_0+s+1}}.

(2)​

標本が 0<Xi<10<X_i<1 を満たす場合の対数尤度は

ℓ(θ)=nlog⁡(θ+1)+θ∑i=1nlog⁡Xi,θ>−1.\ell(\theta)=n\log(\theta+1)+\theta\sum_{i=1}^n\log X_i, \qquad \theta>-1.

従って

ℓ′(θ)=nθ+1+∑i=1nlog⁡Xi,ℓ′′(θ)=−n(θ+1)2<0.\ell'(\theta)=\frac{n}{\theta+1}+\sum_{i=1}^n\log X_i, \qquad \ell''(\theta)=-\frac{n}{(\theta+1)^2}<0.

∑ilog⁡Xi<0\sum_i\log X_i<0 なので唯一の最大点は

θ^=−n∑i=1nlog⁡Xi−1.\boxed{\hat\theta=-\frac{n}{\sum_{i=1}^n\log X_i}-1}.

これは θ^>−1\hat\theta>-1 を満たす。なお Xi∈(0,1)X_i\in(0,1) は確率1で成立する。

(3)​

T=−∑i=1nlog⁡Xi>0T=-\sum_{i=1}^n\log X_i>0 とおけば θ^=n/T−1\hat\theta=n/T-1 だから

{θ^≤0}={T≥n}.\{\hat\theta\le0\}=\{T\ge n\}.

s>0s>0 に対し esT/ne^{sT/n} へマルコフの不等式を適用すると

P(θ^≤0)=P(esT/n≥es)≤e−sE[esT/n]=e−sE[∏i=1nXi−s/n]=(E[X−s/n])nes.\begin{aligned} P(\hat\theta\le0) &=P(e^{sT/n}\ge e^s)\\ &\le e^{-s}\mathbb E[e^{sT/n}]\\ &=e^{-s}\mathbb E\left[\prod_{i=1}^nX_i^{-s/n}\right]\\ &=\frac{(\mathbb E[X^{-s/n}])^n}{e^s}. \end{aligned}

最後の等号では独立同分布性を使った。また s<n(θ0+1)s<n(\theta_0+1) は −s/n>−(θ0+1)-s/n>-(\theta_0+1) と同値なので、(1)により期待値は有限である。

(4)​

(1)から

E[X−s/n]=θ0+1θ0+1−s/n.\mathbb E[X^{-s/n}]=\frac{\theta_0+1}{\theta_0+1-s/n}.

θ0>0\theta_0>0 のとき s=nθ0s=n\theta_0 と選べば 0<s<n(θ0+1)0<s<n(\theta_0+1) で、分母は1になる。(3)へ代入して

P(θ^≤0)≤e−nθ0(θ0+1)n=(1+θ0eθ0)n.P(\hat\theta\le0)\le e^{-n\theta_0}(\theta_0+1)^n =\boxed{\left(\frac{1+\theta_0}{e^{\theta_0}}\right)^n}.
本页目录