大阪大学基礎工学研究科電子光科学 (システム創成専攻) 2016年度電子光科学 [I-4]

标签：

Author

祭音Myyura (co-authored with GPT 5.6 SOL)

生起確率 $p$ の事象が起こったことを知ったときに得られる情報量は $p$ の単調減少関数 $I(p)$ であるとする。また、事象 $A$ と事象 $B$ は互いに独立とする。以下の各問に答えよ。

(1) 事象 $A$ と事象 $B$ の生起確率をそれぞれ $p_A,p_B$ とするとき、積事象 $A\cap B$ の生起確率 $p_{A\cap B}$ を求めよ。

(2) $I(p_{A\cap B}),I(p_A),I(p_B)$ の関係を書け。

(3) 問 (1)、(2) から $I(p)$ の満たすべき微分方程式を導出せよ。

(4) 問 (3) の微分方程式を解いて $I(p)$ を求めよ。ただし、 $I(1/2)=1$ とする。

(1) 独立性から $\boxed{p_{A\cap B}=p_Ap_B}$ 。

(2) 独立な事象の情報量は加算されるので

\boxed{I(p_Ap_B)=I(p_A)+I(p_B)}.

(3) $I(pq)=I(p)+I(q)$ を $q$ で微分し、 $q=1$ とおくと

\boxed{pI'(p)=I'(1)}.

(4) $I(1)=0$ より $I(p)=K\ln p$ 。 $I(1/2)=1$ から $K=-1/\ln2$ なので

\boxed{I(p)=-\log_2p\quad(0<p\le1)}.