東京大学 情報理工学研究科 数理情報学 2023年8月実施 第4問

标签：

• Tokyo-University
• Exponential-Memoryless-Property
• Exponential-Spacings-and-Poisson-Counting-Process
• Gamma-Distribution
• Poisson-Count-Maximum-Likelihood-Estimation-for-Rate

Author

Kurosu9991, 祭音Myyura

Description

指数分布 $\text{Exp}(\lambda)$ とは、 $\lambda>0$ に対して確率密度関数

$$p(x)=\lambda\text{exp}(-\lambda x)$$

で定義される非負実数上の確率分布である。 独立に $\text{Exp}(\lambda)$ に従う確率変数列 $X_1,X_2,\dots$ を考える。 以下の設問に答えよ。

(1) $c>0$ に対して、 $X_1\geq c$ という条件のもとでの $X_1-c$ の条件付き確率密度関数を求めよ。

(2) $Y=\min(X_1,X_2),Z=\max(X_1,X_2)$ とするとき、 $Y,Z-Y$ それぞれの確率密度関数を求めよ。

(3) $X_1+\dots+X_n$ の確率密度関数を求めよ。

(4) $a>0$ に対して、 $X_1+\dots+X_N\leq a<X_1+\dots+X_{N+1}$ によって定まる確率変数を $N$ とする。 $a<X_1$ のときは $N=0$ とする。 $N$ に基づく $\lambda$ の最尤推定量 $\hat{\lambda}(N)$ 、および $\hat{\lambda}(N)$ の期待値と分散を求めよ。

题目描述

指数分布 $\operatorname{Exp}(\lambda)$ 是对 $\lambda>0$ 由概率 密度函数

$$p(x)=\lambda\exp(-\lambda x)$$

定义在非负实数上的概率分布。设随机变量序列 $X_1,X_2,\ldots$ 相互独立，且均服从 $\operatorname{Exp}(\lambda)$。回答下列问题。

(1) 对 $c>0$，求在条件 $X_1\geq c$ 下，$X_1-c$ 的条件概率 密度函数。

(2) 令

$$Y=\min(X_1,X_2),\qquad Z=\max(X_1,X_2).$$

分别求 $Y$ 与 $Z-Y$ 的概率密度函数。

(3) 求 $X_1+\cdots+X_n$ 的概率密度函数。

(4) 对 $a>0$，以

$$X_1+\cdots+X_N\leq a<X_1+\cdots+X_{N+1}$$

定义随机变量 $N$；当 $a<X_1$ 时规定 $N=0$。求基于 $N$ 的 $\lambda$ 的最大似然估计量 $\hat{\lambda}(N)$，并求 $\hat{\lambda}(N)$ 的期望和方差。

Kai

(1)

$$P(X_1-c>x|X_1\geq c)=\frac{P(X_1> x+c)}{P(X_1\geq c)}=\rm{e}^{-\lambda x} \quad (x\geq 0)$$

よって、

$$p_{X_1-c|X_1\geq c}(x)= \begin{cases} \lambda\exp(-\lambda x) & (x\geq0),\\ 0 & (x<0). \end{cases}$$

(2)

$$P(Y> y)=P(X_1> y,X_2> y)=\rm{e}^{-2\lambda y}$$

よって、

$$p_Y(y)= \begin{cases} 2\lambda\rm{e}^{-2\lambda y} & (y\geq0),\\ 0 & (y<0). \end{cases}$$

また、

$$p_{Y,Z}(y,z)=2p_{X_1}(y)p_{X_2}(z)=2\lambda^2\rm{e}^{-\lambda(y+z)} \qquad(0\leq y\leq z)$$

であるので、

$$p_{Z|Y}(z|y)=\frac{p_{Y,Z}(y,z)}{p_Y(y)}=\lambda\rm{e}^{-\lambda(z-y)}$$

さらに、

$$p_{Z-Y|Y}(t|y)=p_{Z|Y}(t+y|y)=\lambda\rm{e}^{-\lambda t}$$

は $y$ に依存しないため、

$$p_{Z-Y}(t)= \begin{cases} \lambda\rm{e}^{-\lambda t} & (t\geq0),\\ 0 & (t<0) \end{cases}$$

が成り立つ。

(3)

モーメント母関数を考える。

$$M_{X_1}(t)=E(\rm{e}^{tX_1})=\int_0^\infty\lambda\rm{e}^{-(\lambda-t)x}\text{d}x=\frac{\lambda}{\lambda-t} \quad (\lambda>t)$$

$$M_{X_1+\dots+X_n}(t)=(M_{X_1}(t))^n=\frac{\lambda^n}{(\lambda-t)^n}$$

ラプラス変換によって、

$$p_{X_1+\dots+X_n}(x)= \begin{cases} \dfrac{\lambda^n x^{n-1}}{(n-1)!}\rm{e}^{-\lambda x} & (x\geq0),\\ 0 & (x<0). \end{cases}$$

(4)

$$P(N=0)=P(X_1>a)=\rm{e}^{-\lambda a}$$

$$\begin{aligned} P(N=k) & = P(X_1+\dots+X_k\leq a)-P(X_1+\dots+X_{k+1}\leq a) \\ & = \int_0^a\frac{\lambda^k x^{k-1}}{(k-1)!}\rm{e}^{-\lambda x}\,\text{d}x - \int_0^a\frac{\lambda^{k+1} x^k}{k!}\rm{e}^{-\lambda x}\,\text{d}x \\ & = \int_0^a\left(\frac{\lambda^k x^{k-1}}{(k-1)!}-\frac{\lambda^{k+1} x^k}{k!} \right)\rm{e}^{-\lambda x}\,\text{d}x \\ & = \left(\frac{\lambda^k x^k}{k!}\rm{e}^{-\lambda x} \right)\bigg|_0^a \\ & = \frac{(\lambda a)^k}{k!}\rm{e}^{-\lambda a} \quad (k=1,2,\dots) \end{aligned}$$

明らかに、 $N$ はポアソン分布に従って、

$$E(N)=\lambda a \qquad V(N)=\lambda a$$

である。

各非負の整数 $n=0,1,\dots$ に対して、

$$L(\lambda)=P(N=n)=\frac{(\lambda a)^n}{n!}\rm{e}^{-\lambda a}$$

$$l(\lambda)=\log(L(\lambda))=n\log(\lambda a)-\lambda a-\log(n!)$$

$$\frac{\partial l}{\partial\lambda}(\lambda)=\frac{n}{\lambda}-a=0 \Longrightarrow \hat{\lambda}=\frac{n}{a}$$

$n\geq1$ ではこれが最尤推定値である。$n=0$ では $L(\lambda)=e^{-\lambda a}$ は $\lambda>0$ 上で狭義単調減少するため、 問題文の母数空間のままでは最尤推定値は存在せず、上限は $\lambda\downarrow0$ で達せられる。母数空間の閉包 $\lambda\geq0$ を用いる通常の拡張最尤推定量は

$$\hat{\lambda}(N)=\frac{N}{a}$$

である。この拡張最尤推定量について、

$$E(\hat{\lambda}(N))=\frac{1}{a}E(N)=\lambda$$

$$V(\hat{\lambda}(N))=\frac{1}{a^2}V(N)=\frac{\lambda}{a}$$

がわかる。