大阪大学 基礎工学研究科 電子光科学 (システム創成専攻) 2019年8月実施 電子光科学 [I-4]

标签：

• Osaka-University
• Conditional-Entropy
• Entropy-Chain-Rule
• Pointwise-Mutual-Information
• Mutual-Information

Author

Miyake

Description

题目描述

设离散随机变量 $X,Y$ 分别取值于有限集合 $A,B$，联合分布为 $P(x,y)$，边缘与条件分布按通常方式定义；熵的对数底为 2。

1. 从定义证明联合熵的链式法则
   $$H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y).$$
2. 已知观察 $Y=y$ 后，事件 $X=x$ 的自信息相对于观察前减少多少？用 $P(x,y),P(x),P(y)$ 表示。
3. 对第 2 问的信息减少量按联合分布取平均，定义互信息 $I(X;Y)$；证明
   $$I(X;Y)=H(X)+H(Y)-H(X,Y) =H(X)-H(X\mid Y) =H(Y)-H(Y\mid X).$$
4. 证明互信息的对称性 $I(X;Y)=I(Y;X)$。

考点

• 信息熵与条件熵：从概率分解 $P(x,y)=P(x)P(y\mid x)$ 推导链式法则。
• 点互信息：理解观测一个变量对另一个具体结果带来的信息增益。
• 互信息：把点互信息按联合分布求期望，并转换为熵表达式。
• 对称性：由联合概率比值形式直接看出变量交换不改变互信息。

Kai

(1)

$P(x,y)=P(x)P(y \mid x)$ であるから、次のように計算できる：

$$\begin{aligned} H(X,Y) &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y) \\ &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) P(y \mid x) \\ &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y \mid x) \\ &= - \sum_{x \in A} P(x) \log_2 P(x) - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y \mid x) \\ &= H(X) + H(Y \mid X) . \end{aligned}$$

$P(x,y)=P(y)P(x \mid y)$ でもあるから、上と同様の計算により、 次のような表現も得られる：

$$\begin{aligned} H(X,Y) &= H(Y) + H(X \mid Y) . \end{aligned}$$

(2)

求める情報量は次のように計算できる：

$$\begin{aligned} - \log_2 P(x) - \left\{ - \log_2 P(x \mid y) \right\} = \log_2 \frac{P(x \mid y)}{P(x)} = \log_2 \frac{P(x, y)}{P(x)P(y)} \end{aligned}$$

(3)

(2) で求めた情報量を同時確率 $P(x,y)$ によって平均したものが、 相互情報量 $I(X;Y)$ である：

$$\begin{align} I(X;Y) &= \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 \frac{P(x, y)}{P(x)P(y)} \tag{A} \\ &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y) + \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y) \nonumber \\ &= - \sum_{x \in A} P(x) \log_2 P(x) - \sum_{y \in B} P(y) \log_2 P(y) + \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y) \nonumber \\ &= H(X) + H(Y) - H(X,Y) \nonumber . \end{align}$$

ここで、(1) で得た表式を使うと、次の2通りに表せる：

$$\begin{aligned} I(X;Y) &= H(X) - H(X \mid Y) \\ &= H(Y) - H(Y \mid X) . \end{aligned}$$

(4)

(3) の ($A$)式から、 $I(X;Y)=I(Y;X)$ がわかる。