東京工業大学 情報理工学院 数理・計算科学系 2016年8月実施 午前 問6

标签：

• TITech
• Poisson-Distribution
• Conditional-Probability
• Maximum-Likelihood-Estimation

Author

GPT-5

Description

The daily customer counts $X$ and $Y$ at stores A and B independently follow $\operatorname{Po}(\lambda)$ and $\operatorname{Po}(\nu)$ . For $n$ days, observations $(x_i,y_i)_{i=1}^n$ are given. The Poisson mass function is

$$P(X=k;\lambda)=\frac{\lambda^k}{k!}e^{-\lambda} \quad(k=0,1,2,\ldots).$$

(1) Show that this is a probability distribution.

(2) Assuming $\sum_i x_i\neq0$ and $\sum_i y_i\neq0$ , derive the maximum likelihood estimators of $\lambda$ and $\nu$ .

(3) Given the total $N=X+Y$ , derive the conditional distribution of $X$ .

(4) Instead suppose that the conditional distribution of $Y$ given $X$ is

$$P(Y=\ell\mid X=k;a)=\frac{f_a(k)^\ell}{\ell!}e^{-f_a(k)}, \qquad f_a(k)=a(1+k),$$

where $a>0$ is unknown. Assuming $\sum_i y_i\neq0$ , derive the maximum likelihood estimator of $a$ .

题目描述

商店 A 与商店 B 的每日顾客数分别记为 $X$ 和 $Y$。二者相互独立，并分别服从参数为 $\lambda$、$\nu$ 的 Poisson 分布 $\operatorname{Po}(\lambda)$、$\operatorname{Po}(\nu)$。现有 $n$ 天的观测数据 $(x_i,y_i)_{i=1}^n$。Poisson 分布的概率质量函数给定为

$$P(X=k;\lambda)=\frac{\lambda^k}{k!}e^{-\lambda} \quad(k=0,1,2,\ldots).$$

1. 验证上述质量函数确实构成一个概率分布。
2. 在 $\sum_{i=1}^n x_i\neq0$ 且 $\sum_{i=1}^n y_i\neq0$ 的假设下，求参数 $\lambda$ 和 $\nu$ 的最大似然估计量。
3. 令总顾客数 $N=X+Y$，求已知 $N$ 时 $X$ 的条件分布。
4. 现改用如下条件模型：当 $X=k$ 时，$Y$ 的条件分布为

$$P(Y=\ell\mid X=k;a) =\frac{f_a(k)^\ell}{\ell!}e^{-f_a(k)}, \qquad f_a(k)=a(1+k),$$

其中 $a>0$ 未知。在 $\sum_{i=1}^n y_i\neq0$ 的条件下，求 $a$ 的最大似然估计量。

Kai

(1)

各確率は非負であり、指数関数の級数展開から

$$\sum_{k=0}^{\infty}P(X=k;\lambda) =e^{-\lambda}\sum_{k=0}^{\infty}\frac{\lambda^k}{k!} =e^{-\lambda}e^{\lambda}=1.$$

したがって確率分布を定める。

(2)

独立性より対数尤度のパラメータに依存する部分は

$$\ell(\lambda,\nu) =\left(\sum_i x_i\right)\log\lambda-n\lambda +\left(\sum_i y_i\right)\log\nu-n\nu+\text{const.}$$

である。偏微分を 0 とおくと

$$\boxed{\widehat\lambda=\frac1n\sum_{i=1}^n x_i, \qquad \widehat\nu=\frac1n\sum_{i=1}^n y_i}.$$

仮定により両者は正であり、各パラメータについて二階微分が負なので一意な最尤推定値である。

(3)

$N=m$ とする。独立な Poisson 分布の和は $\operatorname{Po}(\lambda+\nu)$ なので、 $k=0,\ldots,m$ に対して

$$\begin{aligned} P(X=k\mid N=m) &=\frac{P(X=k)P(Y=m-k)}{P(N=m)}\\ &=\binom{m}{k} \left(\frac{\lambda}{\lambda+\nu}\right)^k \left(\frac{\nu}{\lambda+\nu}\right)^{m-k}. \end{aligned}$$

したがって

$$\boxed{X\mid(N=m)\sim \operatorname{Bin}\left(m,\frac{\lambda}{\lambda+\nu}\right)}.$$

(4)

$x_i$ を条件として得られる $a$ の対数尤度は

$$\ell(a) =\left(\sum_i y_i\right)\log a -a\sum_i(1+x_i)+\text{const.}$$

である。したがって

$$\ell'(a)=\frac{\sum_i y_i}{a}-\sum_i(1+x_i)=0$$

を解き、

$$\boxed{\widehat a =\frac{\sum_{i=1}^n y_i}{\sum_{i=1}^n(1+x_i)} =\frac{\sum_{i=1}^n y_i}{n+\sum_{i=1}^n x_i}}.$$

$\ell''(a)=-(\sum_i y_i)/a^2<0$ なので一意な最大値である。