京都大学 情報学研究科 システム科学専攻 2018年8月実施 専門科目 確率統計

标签：

• Kyoto-University
• Joint-Distribution
• Conditional-Probability
• Maximum-Likelihood-Estimation
• Estimator-Consistency
• Hypergeometric-Distribution

Author

uogxtc, 祭音Myyura

Description

問題1

確率変数 $Z_i = (X_i, Y_i), i = 1, \ldots, n$ は独立に次のように定義される確率分布に従う。 各 $X_i, Y_i$ は $0$ または $1$ を値にとり、 $P(X_i = 1) = \alpha$, $P(Y_i = 1 | X_i) = \beta X_i$ とする（一般に $X_i$ と $Y_i$ は独立ではない）。 ただし $n$ は正の整数、 $0 < \alpha < 1$, $0 < \beta < 1$ は未知パラメータである。 このとき以下の設問に答えなさい。

(1) 同時確率 $P(X_i = x, Y_i = y)$ を $(x, y)$ の取りうるすべての値について求めなさい。ただし $\alpha, \beta$ を用いること。

(2) $Z_i, i = 1, \ldots, n$ をすべて用いて、 $\alpha, \beta$ の最尤推定量 $\hat{\alpha}_n, \hat{\beta}_n$ を求めなさい。

(3) 制約条件 $\alpha + \beta = 1$ を仮定する。このとき、 $Z_i, i = 1, \ldots, n$ をすべて用いて、 $\alpha$ の最尤推定量 $\hat{\alpha}_n$ を求めなさい。

(4) 設問 (3) の $\hat{\alpha}_n$ は極限 $n \to \infty$ においてある値に確率収束する。その値を求めなさい。

問題2

袋の中に $N$ ($N = 1, 2, \ldots$) 個のボールがあり、そのうち $m$ ($m \in \{0, 1, \ldots, N\}$) 個は赤色、残りは白色である。 袋から、ランダムかつ同時に $n$ ($n \in \{1, \ldots, N\}$) 個取り出した際にその中で赤色であるボールの個数を確率変数 $X$ ($X \in \{0, 1, \ldots, n\}$) で表すことにする。以下の設問 (1), (2) に答えなさい。

(1) $X = k$ ($k = 0, 1, \ldots, n$) となる確率 $P(X = k)$ を求めなさい。

(2) 確率変数 $X$ の期待値を求めなさい。

袋の中に白いボールが多数入っている。 その個数が分からないので未知パラメータ $N$ とおき、これを以下の手続きで見積もることにした。まず、袋の中からランダムかつ同時に $m$ 個を取り出し赤く塗った。それらを袋に戻しよくかき混ぜた。 その後、今度は袋の中からランダムかつ同時に $n$ 個のボールを取り出したところ、そのうち $k$ ($k \in \{0, 1, \ldots, n\}$) 個が赤く塗られていた。 $N, m, n$ は正の整数である。以下の設問 (3) ~ (5) に答えなさい。

(3) $N$ に関する尤度 $L(N)$ を求めなさい。

(4) 設問 (3) の $L(N)$ について、 $L(N)/L(N-1)$（ただし $N = 2, 3, \ldots$）を計算しなさい。

(5) $N$ の最尤推定値を求めなさい。ただし $k \geq 1$ とする。

Kai

問題1

(1)

The posterior is given by

$$\Pr(X_i=x,Y_i=y)=\Pr(Y_i=y\mid X_i=x)\Pr(X_i=x),$$

and we easily obtain that

$$\begin{aligned} &\mathrm{Pr}(X_{i}=1,Y_{i}=1)=\beta\alpha,\\ &\mathrm{Pr}(X_{i}=1,Y_{i}=0)=(1-\beta)\alpha,\\ &\mathrm{Pr}(X_{i}=0,Y_{i}=1)=0,\\ &\mathrm{Pr}(X_{i}=0,Y_{i}=0)=1-\alpha, \end{aligned}$$

which is exactly

$$\begin{aligned} \Pr(X_{i}=x,Y_{i}=y)=(\beta\alpha)^{xy}\left[(1-\beta)\alpha\right]^{x(1-y)}0^{(x-1)y}(1-\alpha)^{(1-x)(1-y)} \end{aligned}$$

(2)

The likelihood is

$$L=\prod_{i=1}^n\Pr(Z_i),$$

and the log-likelihood is

$$\log L=\sum_{i=1}^{n} \Big\{ X_{i}Y_{i}\log(\alpha\beta)+X_{i}(1-Y_{i})\log[(1-\beta)\alpha] +(X_{i}-1)Y_{i}\log0+(1-X_{i})(1-Y_{i})\log(1-\alpha) \Big\}$$

Let $\frac{\partial\log L}{\partial\alpha}=0$ and we get

$$(1-\alpha)\sum_{i=1}^nX_i-\alpha\sum_{i=1}^n(1-X_i)(1-Y_i)=0,$$

$$\hat{\alpha}_n=\frac{\sum_{i=1}^nX_i}{\sum_{i=1}^n(1-Y_i+X_iY_i)}.$$

Similarly, $\frac{\partial\log L}{\partial\beta}=0$ gives

$$(1-\beta)\sum_{i=1}^nX_iY_i-\beta\sum_{i=1}^nX_i(1-Y_i)=0,$$

$$\hat{\beta}_n=\frac{\sum_{i=1}^nX_iY_i}{\sum_{i=1}^nX_i}.$$

(3)

Substitute $\beta$ by $1- \alpha$ in the log-likelihood and we have

$$\log L=\sum_{i=1}^{n} \Big\{ X_{i}Y_{i}\log(\alpha(1-\alpha))+X_{i}(1-Y_{i})\log(\alpha^{2})\\+(X_{i}-1)Y_{i}\log 0+(1-X_{i})(1-Y_{i})\log(1-\alpha) \Big\}.$$

Let $\frac{\partial\log L}{\partial\alpha}=0$ and then we get

$$\hat{\alpha}_n=\frac{2\sum X_i-\sum X_iY_i}{n+\sum X_i-\sum Y_i + \sum X_iY_i}.$$

(4)

When $n \to \infty$,

$$\begin{aligned} &\sum X_{i}\to n\mathbb{E}[X_i=1]=\alpha n\\ &\sum Y_{i}\to n\mathbb{E}[Y_i=1]=\alpha\beta n\\ &\sum X_{i}Y_{i}\to n\mathbb{E}[X_i=1,Y_i=1]=\alpha \beta n \end{aligned}$$

Since $\hat{\alpha}_{n}$ converges, it converges to

$$\lim\limits_{n\to\infty}\hat{\alpha}_n=\frac{2\alpha n-\alpha\beta n}{n+\alpha n}=\frac{2\alpha-\alpha\beta}{1+\alpha} = \alpha.$$

問題2

(1)

(Readers may refer to hypergeometric distribution, 超几何分布，超幾何分布.)

$$\Pr(X=k)=\frac{\binom{m}{k}\binom{N-m}{n-k}}{\binom{N}{n}}.$$

(2)

$$\mathbb{E}[X]=\sum_{i=1}^n\Pr(X=k)\cdot k$$

Note that

$$\begin{aligned} k\binom{m}{k}&=\frac{m!}{(k-1)!(m-k)!}\\ &=\frac{(m-1)!m}{(k-1)!(m-k)!}\\ &=m\binom{m-1}{k-1}. \end{aligned}$$

Then

$$k \cdot \Pr(X=k)=\frac{m\binom{m-1}{k-1}\binom{N-m}{n-k}}{\binom{N}{n}}=\frac{m\binom{m-1}{k-1}\binom{(N-1)-(m-1)}{(n-1)-(k-1)}}{\frac{N}{n}\binom{N-1}{n-1}}.$$

The expectation becomes

$$\begin{aligned} \mathbb{E}[X]& =\sum_{k=1}^n\frac{mn}{N}\bigg[\frac{\binom{m-1}{k-1}\binom{(N-1)-(m-1)}{(n-1)-(k-1)}}{\binom{N-1}{n-1}}\bigg] \\ &=\frac{mn}N\underbrace{\sum_{k=1}^n\left[\frac{\binom{m-1}{k-1}\binom{(N-1)-(m-1)}{(n-1)-(k-1)}}{\binom{N-1}{n-1}}\right]}_{=1,\text{ as all probabilities sum to 1.}} \\ &=\frac{mn}{N}. \end{aligned}$$

(3)

(For (3) and (4), readers may refer to Mark-recapture method, 標識再捕法.)

The likelihood is

$$L(N)=\underbrace{\Pr(X=k)}_{\text{ function of } n,k \text{ and parameterized by }N}=\frac{\binom{m}{k}\binom{N-m}{n-k}}{\binom{N}{n}}.$$

(4)

$$\begin{aligned} \frac{L(N)}{L(N-1)}& =\frac{\binom{N-m}{n-k}}{\binom{N-m-1}{n-k}}\cdot\frac{\binom{N-1}{n}}{\binom{N}{n}} \\ &=\frac{N-m}{N-m-n+k}\cdot\frac{N-n}{N}. \end{aligned}$$

(5)

$L(N)$ is positive.

When $L(N)/L(N-1) \leq 1$,

$$\begin{aligned} &\frac{N-m}{N-m-n+k} \cdot \frac{N-n}{N}\leq1,\\ &\Rightarrow\quad N \geq \frac{mn}{k}, \end{aligned}$$

$L(N)$ monotonely decreases.

When $L(N)/L(N-1) \geq 1$, i.e.,

$$N \leq \frac{mn}{k},$$

$L(N)$ monotonely increases.

So the maximum likelihood estimate of $N$ would be $\hat{N}=\lfloor mn/k\rfloor$ , floored as $N$ is a positive integer.