東京工業大学 情報理工学院 数理・計算科学系 2016年8月実施 午前 問6

标签：

• TITech
• Poisson-Distribution
• Conditional-Probability
• Maximum-Likelihood-Estimation

Author

GPT-5

Description

The daily customer counts $X$ and $Y$ at stores A and B independently follow $\operatorname{Po}(\lambda)$ and $\operatorname{Po}(\nu)$. For $n$ days, observations $(x_i,y_i)_{i=1}^n$ are given. The Poisson mass function is

$$P(X=k;\lambda)=\frac{\lambda^k}{k!}e^{-\lambda} \quad(k=0,1,2,\ldots).$$

(1) Show that this is a probability distribution.

(2) Assuming $\sum_i x_i\neq0$ and $\sum_i y_i\neq0$, derive the maximum likelihood estimators of $\lambda$ and $\nu$.

(3) Given the total $N=X+Y$, derive the conditional distribution of $X$.

(4) Instead suppose that the conditional distribution of $Y$ given $X$ is

$$P(Y=\ell\mid X=k;a)=\frac{f_a(k)^\ell}{\ell!}e^{-f_a(k)}, \qquad f_a(k)=a(1+k),$$

where $a>0$ is unknown. Assuming $\sum_i y_i\neq0$, derive the maximum likelihood estimator of $a$.

题目描述

商店 A、B 的每日顾客数 $X$、$Y$ 相互独立，且分别服从 $\operatorname{Po}(\lambda)$ 与 $\operatorname{Po}(\nu)$。现给出连续 $n$ 天的观测值 $(x_i,y_i)_{i=1}^n$。Poisson 分布的概率质量函数为

$$P(X=k;\lambda)=\frac{\lambda^k}{k!}e^{-\lambda}, \qquad k=0,1,2,\ldots.$$

1. 证明上述函数确实定义了一个概率分布。

2. 在 $\sum_i x_i\neq0$ 且 $\sum_i y_i\neq0$ 的条件下，推导 $\lambda$ 和 $\nu$ 的最大似然估计量。

3. 已知总顾客数 $N=X+Y$，推导 $X$ 的条件分布。

4. 改设在给定 $X$ 时，$Y$ 的条件分布为

   $$P(Y=\ell\mid X=k;a)=\frac{f_a(k)^\ell}{\ell!}e^{-f_a(k)}, \qquad f_a(k)=a(1+k),$$

   其中未知参数 $a>0$。在 $\sum_i y_i\neq0$ 的条件下，推导 $a$ 的最大似然估计量。

考点

• Poisson 分布的归一化：利用指数级数验证给定概率质量函数的非负性与总和为 $1$。
• 最大似然估计：分别构造独立 Poisson 样本及条件 Poisson 模型的似然函数，通过对数似然求 $\lambda,\nu,a$ 的估计量。
• 条件概率分布：由两个独立 Poisson 变量的联合分布和总和，推导给定 $X+Y$ 时 $X$ 的二项型条件分布。

Kai

(1)

各確率は非負であり、指数関数の級数展開から

$$\sum_{k=0}^{\infty}P(X=k;\lambda) =e^{-\lambda}\sum_{k=0}^{\infty}\frac{\lambda^k}{k!} =e^{-\lambda}e^{\lambda}=1.$$

したがって確率分布を定める。

(2)

独立性より対数尤度のパラメータに依存する部分は

$$\ell(\lambda,\nu) =\left(\sum_i x_i\right)\log\lambda-n\lambda +\left(\sum_i y_i\right)\log\nu-n\nu+\text{const.}$$

である。偏微分を 0 とおくと

$$\boxed{\widehat\lambda=\frac1n\sum_{i=1}^n x_i, \qquad \widehat\nu=\frac1n\sum_{i=1}^n y_i}.$$

仮定により両者は正であり、各パラメータについて二階微分が負なので一意な最尤推定値である。

(3)

$N=m$ とする。独立な Poisson 分布の和は $\operatorname{Po}(\lambda+\nu)$ なので、$k=0,\ldots,m$ に対して

$$\begin{aligned} P(X=k\mid N=m) &=\frac{P(X=k)P(Y=m-k)}{P(N=m)}\\ &=\binom{m}{k} \left(\frac{\lambda}{\lambda+\nu}\right)^k \left(\frac{\nu}{\lambda+\nu}\right)^{m-k}. \end{aligned}$$

したがって

$$\boxed{X\mid(N=m)\sim \operatorname{Bin}\left(m,\frac{\lambda}{\lambda+\nu}\right)}.$$

(4)

$x_i$ を条件として得られる $a$ の対数尤度は

$$\ell(a) =\left(\sum_i y_i\right)\log a -a\sum_i(1+x_i)+\text{const.}$$

である。したがって

$$\ell'(a)=\frac{\sum_i y_i}{a}-\sum_i(1+x_i)=0$$

を解き、

$$\boxed{\widehat a =\frac{\sum_{i=1}^n y_i}{\sum_{i=1}^n(1+x_i)} =\frac{\sum_{i=1}^n y_i}{n+\sum_{i=1}^n x_i}}.$$

$\ell''(a)=-(\sum_i y_i)/a^2<0$ なので一意な最大値である。