大阪大学 基礎工学研究科 電子光科学 (システム創成専攻) 2020年度 電子光科学 [I-4]
Author
Description
Kai
(1)
\(P(x,y)=P(x)P(y \mid x)\) であるから、次のように計算できる：
\[
\begin{aligned}
H(X,Y)
&=
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y)
\\
&=
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) P(y \mid x)
\\
&=
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x)
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y \mid x)
\\
&=
- \sum_{x \in A} P(x) \log_2 P(x)
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y \mid x)
\\
&=
H(X) + H(Y \mid X)
.
\end{aligned}
\]
\(P(x,y)=P(y)P(x \mid y)\) でもあるから、上と同様の計算により、 次のような表現も得られる：
\[
\begin{aligned}
H(X,Y)
&=
H(Y) + H(X \mid Y)
.
\end{aligned}
\]
(2)
求める情報量は次のように計算できる：
\[
\begin{aligned}
- \log_2 P(x)
- \left\{ - \log_2 P(x \mid y) \right\}
=
\log_2 \frac{P(x \mid y)}{P(x)}
=
\log_2 \frac{P(x, y)}{P(x)P(y)}
\end{aligned}
\]
(3)
(2) で求めた情報量を同時確率 \(P(x,y)\) によって平均したものが、 相互情報量 \(I(X;Y)\) である：
\[
\begin{align}
I(X;Y)
&=
\sum_{x \in A} \sum_{y \in B} P(x,y)
\log_2 \frac{P(x, y)}{P(x)P(y)}
\tag{A} \label{A}
\\
&=
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x)
- \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y)
+ \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y)
\nonumber
\\
&=
- \sum_{x \in A} P(x) \log_2 P(x)
- \sum_{y \in B} P(y) \log_2 P(y)
+ \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y)
\nonumber
\\
&=
H(X) + H(Y) - H(X,Y) \nonumber
.
\end{align}
\]
ここで、(1) で得た表式を使うと、次の2通りに表せる：
\[
\begin{aligned}
I(X;Y)
&= H(X) - H(X \mid Y)
\\
&= H(Y) - H(Y \mid X)
.
\end{aligned}
\]
(4)
(3) の (\(\ref{A}\))式から、 \(I(X;Y)=I(Y;X)\) がわかる。