京都大学 情報学研究科 システム科学専攻 2017年8月実施 専門科目 確率統計 Author uogxtc , 祭音Myyura
Description 問題1
確率変数 X 1 , … , X n , Y 1 , … , Y m X_1, \ldots, X_n, Y_1, \ldots, Y_m X 1 , … , X n , Y 1 , … , Y m X i ∼ N ( a θ , σ 2 ) X_i \sim N(a\theta, \sigma^2) X i ∼ N ( a θ , σ 2 ) Y j ∼ N ( b θ , σ 2 ) Y_j \sim N(b\theta, \sigma^2) Y j ∼ N ( b θ , σ 2 ) i = 1 , … , n i = 1, \ldots, n i = 1 , … , n j = 1 , … , m j = 1, \ldots, m j = 1 , … , m N ( μ , σ 2 ) N(\mu, \sigma^2) N ( μ , σ 2 ) μ \mu μ σ 2 \sigma^2 σ 2 n , m n, m n , m a , b a, b a , b θ , σ 2 \theta, \sigma^2 θ , σ 2
(1) θ , σ 2 \theta, \sigma^2 θ , σ 2 X 1 , … , X n , Y 1 , … , Y m X_1, \ldots, X_n, Y_1, \ldots, Y_m X 1 , … , X n , Y 1 , … , Y m
(2) 定数 α , β \alpha, \beta α , β θ ~ = α X ˉ + β Y ˉ \tilde{\theta} = \alpha \bar{X} + \beta \bar{Y} θ ~ = α X ˉ + β Y ˉ X ˉ = ( X 1 + ⋯ + X n ) / n \bar{X} = (X_1 + \cdots + X_n)/n X ˉ = ( X 1 + ⋯ + X n ) / n Y ˉ = ( Y 1 + ⋯ + Y m ) / m \bar{Y} = (Y_1 + \cdots + Y_m)/m Y ˉ = ( Y 1 + ⋯ + Y m ) / m θ ~ \tilde{\theta} θ ~ E ( θ ~ ) E(\tilde{\theta}) E ( θ ~ ) V ( θ ~ ) V(\tilde{\theta}) V ( θ ~ )
(3) θ ~ \tilde{\theta} θ ~ θ \theta θ α , β \alpha, \beta α , β θ ~ \tilde{\theta} θ ~ V ( θ ~ ) V(\tilde{\theta}) V ( θ ~ ) α , β \alpha, \beta α , β
問題2
あるコインを投げると、確率 p ( 0 < p < 1 ) p \ (0 < p < 1) p ( 0 < p < 1 ) q ( = 1 − p ) q \ (= 1 - p) q ( = 1 − p ) T T T
(1) T = n T = n T = n n = 1 , 2 , … n = 1, 2, \ldots n = 1 , 2 , … P ( T = n ) P(T = n) P ( T = n ) P ( ⋅ ) P(\cdot) P ( ⋅ )
(2) 確率変数 T T T
あるスロットマシン（窓は一つとする）を引くと、 m m m m = 1 , 2 , … m = 1, 2, \ldots m = 1 , 2 , … m m m { 1 , 2 , … , m } \{1, 2, \ldots, m\} { 1 , 2 , … , m } n n n n = 1 , 2 , … n = 1, 2, \ldots n = 1 , 2 , … X n X_n X n ∈ { 1 , 2 , … , m } \in \{1, 2, \ldots, m\} ∈ { 1 , 2 , … , m } m m m i i i i = 1 , 2 , … , m i = 1, 2, \ldots, m i = 1 , 2 , … , m T m , i T_{m,i} T m , i
T m , i = { 1 ( i = 1 ) min { n > T m , i − 1 ∣ X n ≠ X j ; j = 1 , … , n − 1 } ( i = 2 , … , m ) T_{m,i} = \begin{cases}
1 & (i = 1) \\
\min \{ n > T_{m,i-1} \mid X_n \neq X_j; j = 1, \ldots, n-1 \} & (i = 2, \ldots, m)
\end{cases} T m , i = { 1 min { n > T m , i − 1 ∣ X n = X j ; j = 1 , … , n − 1 } ( i = 1 ) ( i = 2 , … , m ) と再帰的に定義できる。以下の設問に答えなさい。
(3) 確率変数 U m , i U_{m,i} U m , i i = 2 , … , m i = 2, \ldots, m i = 2 , … , m
U m , i ≡ T m , i − T m , i − 1 U_{m,i} \equiv T_{m,i} - T_{m,i-1} U m , i ≡ T m , i − T m , i − 1 とする。
U m , i = k U_{m,i} = k U m , i = k k = 1 , 2 , … k = 1, 2, \ldots k = 1 , 2 , … P ( U m , i = k ) P(U_{m,i} = k) P ( U m , i = k )
(4) すべての図柄が初めて出るまでスロットマシンを引いた回数 T m , m T_{m,m} T m , m
1 + m ∑ j = 1 m − 1 1 j 1 + m \sum_{j=1}^{m-1} \frac{1}{j} 1 + m j = 1 ∑ m − 1 j 1 题目描述
随机变量 X 1 , … , X n , Y 1 , … , Y m X_1,\ldots,X_n,Y_1,\ldots,Y_m X 1 , … , X n , Y 1 , … , Y m
X i ∼ N ( a θ , σ 2 ) ( i = 1 , … , n ) , Y j ∼ N ( b θ , σ 2 ) ( j = 1 , … , m ) , X_i\sim N(a\theta,\sigma^2)\quad(i=1,\ldots,n),\qquad
Y_j\sim N(b\theta,\sigma^2)\quad(j=1,\ldots,m), X i ∼ N ( a θ , σ 2 ) ( i = 1 , … , n ) , Y j ∼ N ( b θ , σ 2 ) ( j = 1 , … , m ) , 其中 N ( μ , σ 2 ) N(\mu,\sigma^2) N ( μ , σ 2 ) μ \mu μ σ 2 \sigma^2 σ 2 n , m n,m n , m a , b a,b a , b θ , σ 2 \theta,\sigma^2 θ , σ 2
（1）使用全部 X 1 , … , X n , Y 1 , … , Y m X_1,\ldots,X_n,Y_1,\ldots,Y_m X 1 , … , X n , Y 1 , … , Y m θ \theta θ σ 2 \sigma^2 σ 2
（2）对常数 α , β \alpha,\beta α , β
θ ~ = α X ˉ + β Y ˉ , X ˉ = X 1 + ⋯ + X n n , Y ˉ = Y 1 + ⋯ + Y m m . \widetilde\theta=\alpha\bar X+\beta\bar Y,\qquad
\bar X=\frac{X_1+\cdots+X_n}{n},\qquad
\bar Y=\frac{Y_1+\cdots+Y_m}{m}. θ = α X ˉ + β Y ˉ , X ˉ = n X 1 + ⋯ + X n , Y ˉ = m Y 1 + ⋯ + Y m . 求 E ( θ ~ ) E(\widetilde\theta) E ( θ ) V ( θ ~ ) V(\widetilde\theta) V ( θ )
（3）求使 θ ~ \widetilde\theta θ θ \theta θ α , β \alpha,\beta α , β V ( θ ~ ) V(\widetilde\theta) V ( θ ) α , β \alpha,\beta α , β
抛掷一枚硬币，每次以概率 p p p q = 1 − p q=1-p q = 1 − p 0 < p < 1 0<p<1 0 < p < 1 T T T
（1）对 n = 1 , 2 , … n=1,2,\ldots n = 1 , 2 , … P ( T = n ) P(T=n) P ( T = n )
（2）求 T T T
另有一台单窗口老虎机，每次等概率出现 m m m m = 1 , 2 , … m=1,2,\ldots m = 1 , 2 , … { 1 , 2 , … , m } \{1,2,\ldots,m\} { 1 , 2 , … , m } n n n
X n ∈ { 1 , 2 , … , m } . X_n\in\{1,2,\ldots,m\}. X n ∈ { 1 , 2 , … , m } . 令 T m , i T_{m,i} T m , i i i i
T m , i = { 1 ( i = 1 ) , min { n > T m , i − 1 ∣ X n ≠ X j , j = 1 , … , n − 1 } ( i = 2 , … , m ) . T_{m,i}=
\begin{cases}
1 & (i=1),\\
\min\{n>T_{m,i-1}\mid X_n\ne X_j,\ j=1,\ldots,n-1\}
& (i=2,\ldots,m).
\end{cases} T m , i = { 1 min { n > T m , i − 1 ∣ X n = X j , j = 1 , … , n − 1 } ( i = 1 ) , ( i = 2 , … , m ) . （3）对 i = 2 , … , m i=2,\ldots,m i = 2 , … , m
U m , i = T m , i − T m , i − 1 . U_{m,i}=T_{m,i}-T_{m,i-1}. U m , i = T m , i − T m , i − 1 . 对 k = 1 , 2 , … k=1,2,\ldots k = 1 , 2 , … P ( U m , i = k ) P(U_{m,i}=k) P ( U m , i = k )
（4）证明首次集齐全部图案所需次数 T m , m T_{m,m} T m , m
1 + m ∑ j = 1 m − 1 1 j . 1+m\sum_{j=1}^{m-1}\frac1j. 1 + m j = 1 ∑ m − 1 j 1 . Kai 問題1
(1) D = n a 2 + m b 2 D=na^2+mb^2 D = n a 2 + m b 2
ℓ = − n + m 2 log σ 2 − 1 2 σ 2 { ∑ i = 1 n ( X i − a θ ) 2 + ∑ j = 1 m ( Y j − b θ ) 2 } . \ell=-\frac{n+m}{2}\log\sigma^2
-\frac1{2\sigma^2}\left\{\sum_{i=1}^n(X_i-a\theta)^2+\sum_{j=1}^m(Y_j-b\theta)^2\right\}. ℓ = − 2 n + m log σ 2 − 2 σ 2 1 { i = 1 ∑ n ( X i − a θ ) 2 + j = 1 ∑ m ( Y j − b θ ) 2 } . 各パラメータで微分して
θ ^ = a ∑ i X i + b ∑ j Y j D , σ 2 ^ = ∑ i ( X i − a θ ^ ) 2 + ∑ j ( Y j − b θ ^ ) 2 n + m . \boxed{\widehat\theta=\frac{a\sum_iX_i+b\sum_jY_j}{D}},\qquad
\boxed{\widehat{\sigma^2}=\frac{\sum_i(X_i-a\widehat\theta)^2+\sum_j(Y_j-b\widehat\theta)^2}{n+m}}. θ = D a ∑ i X i + b ∑ j Y j , σ 2 = n + m ∑ i ( X i − a θ ) 2 + ∑ j ( Y j − b θ ) 2 . 残差平方和は確率1で正であり、このとき尤度は上式で最大となる。残差平方和が 0 0 0 σ 2 ↓ 0 \sigma^2\downarrow0 σ 2 ↓ 0
(2) 独立性より
E [ θ ~ ] = ( a α + b β ) θ , Var ( θ ~ ) = ( α 2 n + β 2 m ) σ 2 . \boxed{E[\widetilde\theta]=(a\alpha+b\beta)\theta,\quad
\operatorname{Var}(\widetilde\theta)=\left(\frac{\alpha^2}{n}+\frac{\beta^2}{m}\right)\sigma^2}. E [ θ ] = ( a α + b β ) θ , Var ( θ ) = ( n α 2 + m β 2 ) σ 2 . (3) 不偏条件は a α + b β = 1 a\alpha+b\beta=1 a α + b β = 1
1 = ( a α + b β ) 2 ≤ ( n a 2 + m b 2 ) ( α 2 n + β 2 m ) . 1=(a\alpha+b\beta)^2\le(na^2+mb^2)\left(\frac{\alpha^2}{n}+\frac{\beta^2}{m}\right). 1 = ( a α + b β ) 2 ≤ ( n a 2 + m b 2 ) ( n α 2 + m β 2 ) . 等号成立条件を不偏条件と合わせると
α = n a D , β = m b D , min Var ( θ ~ ) = σ 2 D . \boxed{\alpha=\frac{na}{D},\qquad\beta=\frac{mb}{D}},\qquad
\min\operatorname{Var}(\widetilde\theta)=\frac{\sigma^2}{D}. α = D na , β = D mb , min Var ( θ ) = D σ 2 . 問題2
(1) n − 1 n-1 n − 1 P ( T = n ) = q n − 1 p \boxed{P(T=n)=q^{n-1}p} P ( T = n ) = q n − 1 p
(2) 確率母関数は G ( s ) = p s / ( 1 − q s ) G(s)=ps/(1-qs) G ( s ) = p s / ( 1 − q s )
E [ T ] = G ′ ( 1 ) = 1 p , Var ( T ) = G ′ ′ ( 1 ) + G ′ ( 1 ) − G ′ ( 1 ) 2 = q p 2 . E[T]=G'(1)=\boxed{\frac1p},\qquad
\operatorname{Var}(T)=G''(1)+G'(1)-G'(1)^2=\boxed{\frac q{p^2}}. E [ T ] = G ′ ( 1 ) = p 1 , Var ( T ) = G ′′ ( 1 ) + G ′ ( 1 ) − G ′ ( 1 ) 2 = p 2 q . (3) 既に i − 1 i-1 i − 1 ( m − i + 1 ) / m (m-i+1)/m ( m − i + 1 ) / m
P ( U m , i = k ) = ( i − 1 m ) k − 1 m − i + 1 m . \boxed{P(U_{m,i}=k)=\left(\frac{i-1}{m}\right)^{k-1}\frac{m-i+1}{m}}. P ( U m , i = k ) = ( m i − 1 ) k − 1 m m − i + 1 . (4) T m , m = 1 + ∑ i = 2 m U m , i T_{m,m}=1+\sum_{i=2}^mU_{m,i} T m , m = 1 + ∑ i = 2 m U m , i E [ U m , i ] = m / ( m − i + 1 ) E[U_{m,i}]=m/(m-i+1) E [ U m , i ] = m / ( m − i + 1 )
E [ T m , m ] = 1 + ∑ i = 2 m m m − i + 1 = 1 + m ∑ j = 1 m − 1 1 j . \boxed{E[T_{m,m}]=1+\sum_{i=2}^m\frac{m}{m-i+1}
=1+m\sum_{j=1}^{m-1}\frac1j}. E [ T m , m ] = 1 + i = 2 ∑ m m − i + 1 m = 1 + m j = 1 ∑ m − 1 j 1 .