跳到主要内容

東京大学 新領域創成科学研究科 複雑理工学専攻 2016年8月実施 専門基礎科目 第4問

标签：

Author​

犬 (finalized by 祭音Myyura with assistance from GPT 6 Astra)

Description​

表が出る確率が θ\theta、裏が出る確率が 1−θ1-\theta のコインを考える。ただし 0≤θ≤10\le\theta\le1 とする。

(問1) 正の整数 nn に対して、このコインを独立に nn 回投げるとき、表が xx 回出る確率を求めよ。xx は 0≤x≤n0\le x\le n を満たす整数とする。

(問2) 期待値 E[x]E[x]、分散 E[(x−E[x])2]E[(x-E[x])^2]、実数 tt に対する積率母関数 E[etx]E[e^{tx}] を求めよ。ee は自然対数の底である。必要なら、実数 a,ba,b と正の整数 rr に対する二項定理

(a+b)r=∑k=0rr!(r−k)!k!ar−kbk(a+b)^r=\sum_{k=0}^r\frac{r!}{(r-k)!k!}a^{r-k}b^k

を用いてよい。

(問3) 尤度 p(x∣θ)p(x\mid\theta) を最大にする θ\theta を求めよ。

(問4) θ\theta の事前確率密度を、α>1\alpha>1 として

p(θ)=θα−1(1−θ)α−1∫01τα−1(1−τ)α−1 dτp(\theta)=\frac{\theta^{\alpha-1}(1-\theta)^{\alpha-1}} {\displaystyle\int_0^1\tau^{\alpha-1}(1-\tau)^{\alpha-1}\,d\tau}

と定める。xx が与えられたときの事後確率密度 p(θ∣x)p(\theta\mid x) を求めよ。

(問5) 問4の事後確率密度を最大にする θ\theta を求めよ。

(問6) 正の整数 mm に対して、同じコインをさらに独立に mm 回投げると、表が yy 回出た。yy は 0≤y≤m0\le y\le m を満たす整数とする。問4の p(θ∣x)p(\theta\mid x) を新たな事前密度として用いたとき、事後密度 p(θ∣x,y)p(\theta\mid x,y) を最大にする θ\theta を求めよ。

题目描述​

一枚硬币正面概率为 θ\theta、反面概率为 1−θ1-\theta，其中 0≤θ≤10\le\theta\le1。

  1. 独立抛掷 nn 次，求正面恰好出现 xx 次的概率，其中 nn 为正整数，x∈{0,…,n}x\in\{0,\ldots,n\}。
  2. 求正面次数的期望、方差和矩母函数 E[etx]E[e^{tx}]，t∈Rt\in\mathbb R。必要时可使用二项定理
(a+b)r=∑k=0rr!(r−k)!k!ar−kbk.(a+b)^r=\sum_{k=0}^r\frac{r!}{(r-k)!k!}a^{r-k}b^k.
  1. 求使似然 p(x∣θ)p(x\mid\theta) 最大的 θ\theta。
  2. 对 α>1\alpha>1，设先验密度为
p(θ)=θα−1(1−θ)α−1∫01τα−1(1−τ)α−1 dτ.p(\theta)=\frac{\theta^{\alpha-1}(1-\theta)^{\alpha-1}} {\displaystyle\int_0^1\tau^{\alpha-1}(1-\tau)^{\alpha-1}\,d\tau}.

求给定 xx 后的后验密度 p(θ∣x)p(\theta\mid x)。

  1. 求该后验密度的最大值点。
  2. 再独立抛掷同一硬币 mm 次，正面出现 yy 次，其中 mm 为正整数，0≤y≤m0\le y\le m。将第4问的后验作为新先验，求使更新后密度 p(θ∣x,y)p(\theta\mid x,y) 最大的 θ\theta。

Kai​

問1​

p(x∣θ)=(nx)θx(1−θ)n−x(x=0,…,n).p(x\mid\theta)=\binom nx\theta^x(1-\theta)^{n-x}\qquad(x=0,\ldots,n).

問2​

二項定理から、

M(t)=E[etx]=(1−θ+θet)n.M(t)=E[e^{tx}]=(1-\theta+\theta e^t)^n.

よって、

E[x]=M′(0)=nθ,Var⁡(x)=M′′(0)−M′(0)2=nθ(1−θ).E[x]=M'(0)=n\theta,\qquad \operatorname{Var}(x)=M''(0)-M'(0)^2=n\theta(1-\theta).

問3​

0<x<n0<x<n では対数尤度の導関数は x/θ−(n−x)/(1−θ)x/\theta-(n-x)/(1-\theta)。これを0とすると θ=x/n\theta=x/n。x=0,nx=0,n ではそれぞれ端点 0,10,1 で最大となるため、全ての場合に

θ^ML=xn.\boxed{\widehat\theta_{\mathrm{ML}}=\frac xn}.

問4​

尤度と事前密度の積を正規化して、

p(θ∣x)=θx+α−1(1−θ)n−x+α−1∫01τx+α−1(1−τ)n−x+α−1 dτ(0≤θ≤1).\boxed{p(\theta\mid x)= \frac{\theta^{x+\alpha-1}(1-\theta)^{n-x+\alpha-1}} {\displaystyle\int_0^1\tau^{x+\alpha-1}(1-\tau)^{n-x+\alpha-1}\,d\tau}} \qquad(0\le\theta\le1).

すなわち Beta⁡(x+α,n−x+α)\operatorname{Beta}(x+\alpha,n-x+\alpha) 分布である。

問5​

α>1\alpha>1 より両パラメータは1より大きい。対数密度を微分して、

x+α−1θ−n−x+α−11−θ=0⟹θ^MAP=x+α−1n+2α−2.\frac{x+\alpha-1}{\theta}-\frac{n-x+\alpha-1}{1-\theta}=0 \quad\Longrightarrow\quad \boxed{\widehat\theta_{\mathrm{MAP}}=\frac{x+\alpha-1}{n+2\alpha-2}}.

対数密度の2階導関数は負なので、これは唯一の最大点。

問6​

新たな尤度 (my)θy(1−θ)m−y\binom my\theta^y(1-\theta)^{m-y} を掛けると、事後分布は Beta⁡(x+y+α,n+m−x−y+α)\operatorname{Beta}(x+y+\alpha,n+m-x-y+\alpha) となる。したがって、

θ^MAP=x+y+α−1n+m+2α−2.\boxed{\widehat\theta_{\mathrm{MAP}}=\frac{x+y+\alpha-1}{n+m+2\alpha-2}}.
本页目录