京都大学 情報学研究科 知能情報学専攻 2023年8月実施 専門科目 S-2

标签：

• Kyoto-University
• Fisher-Exact-Test
• Unbiased-Estimation
• Maximum-Likelihood-Estimation
• Covariance-under-Affine-Transformation

Author

Isidore, 祭音Myyura, itsuitsuki

Description

大学公表の原題

設問1

$X_1, X_2, \cdots, X_n$ を平均 $\mu$ の母集団からの大きさ $n$ の無作為標本とする。 $X_i$ の加重和 $\sum_{i=1}^n w_i X_i$ が $\mu$ の不偏推定量であるための必要十分条件を示せ。

設問2

$X_1, X_2, \cdots, X_n$ を平均 $\mu$, 分散 $\sigma^2$ の正規母集団からの大きさ $n$ の無作為標本とする。

(1) $\mu$ と $\sigma^2$ の対数尤度関数 $L(\mu, \sigma^2)$ を導出せよ。

(2) $L(\mu, \sigma^2)$ を用いて、$\mu$ と $\sigma^2$ の最尤推定量を求めよ。

設問3

確率変数 $X$ と $Y$ の平均がいずれも $1$、分散がいずれも $2$ であるとする。 $S = X + 2Y$, $T = X - 2Y$ のとき、 $S$ と $T$ の共分散を求めよ。

設問4

薬 A と薬 B の効果に差がないという帰無仮説のもとで、以下の分割表についてフィッシャーの正確検定を行うことを考える。

	効果あり	効果なし	計
薬 A	3	1	4
薬 B	2	3	5
計	5	4	9

(1) 帰無仮説のもとでこの表が得られる確率は、計 9 人から無作為に 5 人を「効果あり」として選んだときに、そのうち薬 A 群が 3 人、薬 B 群が 2 人となる確率として計算できる。この確率を求めよ。

(2) フィッシャーの正確検定の $p$ 値（両側検定）は、周辺度数を固定したときに、観察された分割表と同じか低い確率をもつ表の合計確率として定義される。上の表が観察されたときの $p$ 値を求めよ。

题目描述

1. $X_1,\ldots,X_n$ 是均值为 $\mu$ 的总体的随机样本。给出加权和 $\sum_iw_iX_i$ 成为 $\mu$ 的无偏估计量的充要条件。

2. $X_1,\ldots,X_n$ 来自 $N(\mu,\sigma^2)$。

   1. 推导 $\mu,\sigma^2$ 的对数似然 $L(\mu,\sigma^2)$；
   2. 由其求 $\mu,\sigma^2$ 的最大似然估计量。

3. $X,Y$ 的均值均为 1、方差均为 2。令 $S=X+2Y$、$T=X-2Y$，求 $\operatorname{Cov}(S,T)$。

4. 在药 A、B 效果无差异的零假设下，对表作 Fisher 精确检验：

   	有效	无效	合计
   药 A	3	1	4
   药 B	2	3	5
   合计	5	4	9

   1. 固定边缘总数，从 9 人随机选 5 人为“有效”，求其中 A 组 3 人、B 组 2 人的概率。
   2. 双侧 $p$ 值定义为所有边缘相同且概率不高于观察表的表之概率和，求该 $p$ 值。

Kai

設問1

$$E\left[\sum_{i=1}^n w_iX_i\right] =\mu\sum_{i=1}^n w_i.$$

Hence this equals $\mu$ for every $\mu$ if and only if $\sum_{i=1}^n w_i=1$.

設問2

(1)

$$\begin{aligned} L(\mu,\sigma^{2}) &= L(x_1,\dots,x_n;\mu,\sigma^2) \\ &= \sum_{i=1}^n \log\left( \frac1{\sigma\sqrt{2\pi}} e^{-(x_i-\mu)^2/2\sigma^2} \right) \\ &= -n \log \left( \sigma\sqrt{2\pi} \right) - \frac1{2\sigma^2}\sum_{i=1}^n {(x_i-\mu)^2} \\ &= -\frac{n}{2}\ln(2\pi\sigma^{2})-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2} \end{aligned}$$

(2)

We find the partial derivatives over $\mu$ and $\sigma^2$ of $L$ and setting them zero.

$$0 = {\partial L\over \partial \mu} = \frac1{\sigma^2} \sum_{i=1}^n (x_i-\mu) \implies \boxed{\hat{\mu} = \frac{1}{n}\sum_{i=1}^{n}x_{i}}$$

and (here we view $\sigma^2$ as a variable)

$$0 = {\partial L\over \partial \sigma^2} = -\frac n{2\sigma^2} + \frac{\sum_{i=1}^{n}(x_{i}-\mu)^{2}}{2\sigma^{4}} \implies \boxed{\hat{\sigma}^{2} = \frac{1}{n}\sum_{i=1}^{n}(x_{i}-\hat\mu)^{2}}.$$

When $\sum_i(x_i-\hat\mu)^2>0$, profiling over $\mu$ shows that this is the global maximum. If all observations coincide (including $n=1$), the likelihood is unbounded as $\sigma^2\downarrow0$ at that common mean, so no maximum exists in the normal model with $\sigma^2>0$.

設問3

We actually cannot know $\text{Cov}[X,Y]$, but it's offsetted.

$$\begin{aligned} \text{Cov}[S,T] &= \text{Cov}[X+2Y,X-2Y]\\[0.7em] &= \text{Cov}[X,X]-2\text{Cov}[X,Y]+2\text{Cov}[Y,X]-4\text{Cov}[Y,Y]\\[0.7em] &= 2 - 8 = -6 \end{aligned}$$

設問4

(1)

与えられた表が得られる確率は，計 $9$ 人から無作為に $5$ 人を「効果あり」として選んだときに，そのうち薬 $A$ 群が $4$ 人中 $3$ 人，薬 $B$ 群が $5$ 人中 $2$ 人となる確率である。

$$\frac{C^3_4 C^2_5}{C^5_9} = \frac{20}{63}$$

(2)

Under $H_0$ with the margins fixed, we have

$$Pr[\text{Observing the given table} | H_0] = Pr[X=3]$$

in which $X$ follows hypergeometric distribution with $N, K, n = (9, 5, 4)$. Calculate it and we have

$$Pr[X=3] = \frac{C_K^XC_{N-K}^{n-X}}{C_N^n} = \frac{C_5^3C_4^1}{C_9^5} = \frac{10×4}{126} = \frac{40}{126}$$

By the definition of Fisher's exact test, we sequentially calculate other probabilities of observed tables. As $X \in \{0, 1, 2, 3, 4\}$

$$Pr[X=0] = \frac{C_5^0C_4^4}{C_9^5} = \frac{1}{126}$$

$$Pr[X=1] = \frac{C_5^1C_4^3}{C_9^5} = \frac{20}{126}$$

$$Pr[X=2] = \frac{C_5^2C_4^2}{C_9^5} = \frac{60}{126}$$

$$Pr[X=3] = \frac{40}{126}$$

$$Pr[X=4] = \frac{C_5^4C_4^0}{C_9^5} = \frac{5}{126}$$

Thus, the p-value for Fisher's exact test is

$$p = \frac{1+20+40+5}{126} = {11\over21} \approx 0.5238$$

At significance level $0.05$, this result does not reject the null hypothesis.