大阪大学 基礎工学研究科 電子光科学 (システム創成専攻) 2020年度 電子光科学 [I-4]

标签：

• Osaka-University
• Entropy-Chain-Rule
• Pointwise-Mutual-Information
• Mutual-Information

Author

Miyake, 祭音Myyura

Description

通信路の入力の確率変数を $X$、そのエントロピーを $H(X)$、出力の確率変数を $Y$、そのエントロピーを $H(Y)$、$X$ に対する $Y$ の条件付きエントロピーを $H(Y\mid X)$、$Y$ に対する $X$ の条件付きエントロピーを $H(X\mid Y)$ とする。入力アルファベットを $A$、出力アルファベットを $B$、入力記号と出力記号をそれぞれ $x\in A,y\in B$ として、同時確率を $P(x,y)$、周辺確率を $P(x),P(y)$、条件付き確率を $P(y\mid x),P(x\mid y)$ とする。以下の問に答えよ。

(1) 同時エントロピー $H(X,Y)$ を、$H(X),H(Y),H(Y\mid X),H(X\mid Y)$ のうち必要なもので表す式を導出せよ。

(2) 出力記号 $y$ を受信することによって、入力記号 $x$ について得た情報量を求めよ。

(3) 問 (2) の結果から相互情報量 $I(X;Y)$ を導出し、$H(X),H(Y),H(Y\mid X),H(X\mid Y)$ のうち必要なもので表せ。

(4) $I(Y;X)=I(X;Y)$ であることを示せ。

Kai

以下、対数の底を 2 とする。

(1)

$P(x,y)=P(x)P(y\mid x)$ を用いると

$$H(X,Y)=-\sum_{x,y}P(x,y)\log_2P(x)-\sum_{x,y}P(x,y)\log_2P(y\mid x) =H(X)+H(Y\mid X).$$

同様に $P(x,y)=P(y)P(x\mid y)$ を用いて

$$\boxed{H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y)}.$$

(2)

受信前後の自己情報量の差であるから、$P(x,y)>0$ に対して

$$\boxed{i(x;y)=\log_2\frac{P(x\mid y)}{P(x)}=\log_2\frac{P(x,y)}{P(x)P(y)}}.$$

(3)

(2) を同時確率で平均して

$$\begin{aligned} I(X;Y)&=\sum_{x,y}P(x,y)\log_2\frac{P(x,y)}{P(x)P(y)}\\ &=H(X)+H(Y)-H(X,Y)\\ &=\boxed{H(X)-H(X\mid Y)=H(Y)-H(Y\mid X)}. \end{aligned}$$

(4)

$H(X)+H(Y)-H(X,Y)$ は $X,Y$ の交換で変わらないので $\boxed{I(Y;X)=I(X;Y)}$。