京都大学 情報学研究科 システム科学専攻 2018年8月実施 専門科目 確率統計

Author

uogxtc

Description

問題1

確率変数 は独立に次のように定義される確率分布に従う。 各 は または を値にとり、 , とする（一般に と は独立ではない）。 ただし は正の整数、 , は未知パラメータである。 このとき以下の設問に答えなさい。

(1) 同時確率 を の取りうるすべての値について求めなさい。ただし を用いること。

(2) をすべて用いて、 の最尤推定量 を求めなさい。

(3) 制約条件 を仮定する。このとき、 をすべて用いて、 の最尤推定量 を求めなさい。

(4) 設問 (3) の は極限 においてある値に確率収束する。その値を求めなさい。

問題2

袋の中に () 個のボールがあり、そのうち () 個は赤色、残りは白色である。 袋から、ランダムかつ同時に () 個取り出した際にその中で赤色であるボールの個数を確率変数 () で表すことにする。以下の設問 (1), (2) に答えなさい。

(1) () となる確率 を求めなさい。

(2) 確率変数 の期待値を求めなさい。

袋の中に白いボールが多数入っている。 その個数が分からないので未知パラメータ とおき、これを以下の手続きで見積もることにした。まず、袋の中からランダムかつ同時に 個を取り出し赤く塗った。それらを袋に戻しよくかき混ぜた。 その後、今度は袋の中からランダムかつ同時に 個のボールを取り出したところ、そのうち () 個が赤く塗られていた。 は正の整数である。以下の設問 (3) ~ (5) に答えなさい。

(3) に関する尤度 を求めなさい。

(4) 設問 (3) の について、 （ただし ）を計算しなさい。

(5) の最尤推定値を求めなさい。ただし とする。

Kai

問題1

(1)

The posterior is given by

and we easily obtain that

which is exactly

(2)

The likelihood is

and the log-likelihood is

Let and we get

(1-\beta)\sum_{i=1}^nX_iY_i-\beta\sum_{i=1}^nX_i(1-Y_i)=0,

\hat{\beta}n=\frac{\sum{i=1}^nX_iY_i}{\sum_{i=1}^nX_i}.

\log L=\sum_{i=1}^{n} \Big{ X_{i}Y_{i}\log(\alpha(1-\alpha))+X_{i}(1-Y_{i})\log(\alpha^{2})\+(X_{i}-1)Y_{i}\log 0+(1-X_{i})(1-Y_{i})\log(1-\alpha) \Big}.

\hat{\alpha}_n=\frac{2\sum X_i-\sum X_iY_i}{n+\sum X_i-\sum Y_i-\sum X_iY_i}.

\begin{aligned} &\sum X_{i}\to n\mathbb{E}[X_i=1]=\alpha n\ &\sum Y_{i}\to n\mathbb{E}[Y_i=1]=\alpha\beta n\ &\sum X_{i}Y_{i}\to n\mathbb{E}[X_i=1,Y_i=1]=\alpha \beta n \end{aligned}

\lim\limits_{n\to\infty}\hat{\alpha}_n=\frac{2\alpha n-\alpha\beta n}{n+\alpha n-2\alpha\beta n}=\frac{2\alpha-\alpha\beta}{1+\alpha-2\alpha\beta}.

\Pr(X=k)=\frac{\binom{m}{k}\binom{N-m}{n-k}}{\binom{N}{n}}.

\mathbb{E}[X]=\sum_{i=1}^n\Pr(X=k)\cdot k

\begin{aligned} k\binom{m}{k}&=\frac{m!}{(k-1)!(m-k)!}\ &=\frac{(m-1)!m}{(k-1)!(m-k)!}\ &=m\binom{m-1}{k-1}. \end{aligned}

k \cdot \Pr(X=k)=\frac{m\binom{m-1}{k-1}\binom{N-m}{n-k}}{\binom{N}{n}}=\frac{m\binom{m-1}{k-1}\binom{(N-1)-(m-1)}{(n-1)-(k-1)}}{\frac{N}{n}\binom{N-1}{n-1}}.

\begin{aligned} \mathbb{E}[X]& =\sum_{k=1}^n\frac{mn}{N}\bigg[\frac{\binom{m-1}{k-1}\binom{(N-1)-(m-1)}{(n-1)-(k-1)}}{\binom{N-1}{n-1}}\bigg] \ &=\frac{mn}N\underbrace{\sum_{k=1}^n\left[\frac{\binom{m-1}{k-1}\binom{(N-1)-(m-1)}{(n-1)-(k-1)}}{\binom{N-1}{n-1}}\right]}_{=1,\text{ as all probabilities sum to 1.}} \ &=\frac{mn}{N}. \end{aligned}

L(N)=\underbrace{\Pr(X=k)}_{\text{ function of } n,k \text{ and parameterized by }N}=\frac{\binom{m}{k}\binom{N-m}{n-k}}{\binom{N}{n}}.

\begin{aligned} \frac{L(N)}{L(N-1)}& =\frac{\binom{N-m}{n-k}}{\binom{N-m-1}{n-k}}\cdot\frac{\binom{N-1}{n}}{\binom{N}{n}} \ &=\frac{N-m}{N-m-n+k}\cdot\frac{N-n}{N}. \end{aligned}

\begin{aligned} &\frac{N-m}{N-m-n+k} \cdot \frac{N-n}{N}\leq1,\ &\Rightarrow\quad N \geq \frac{mn}{k}, \end{aligned}

N \leq \frac{mn}{k},