東京大学 情報理工学系研究科 電子情報学専攻 2015年度 専門 第5問
Author
Description
以下のような状態遷移図で示される二元単純マルコフ情報源を考える。

以下の問いに答えよ。
(1) 状態
(2) 定常状態において出力
(3) 出力系列から, 直前および直後が
(4)
(5) この情報源のエントロピーを求めよ。
(6) (2) で求めた生成確率でランダムに
(なお、計算に当たっては,
Kai
(1)
状態遷移図より以下の方程式が成り立つ
これを解いて、
(2)
(1) より求める確率は
(3)
長さ
この確率は
(4)
求める平均長を
両辺の差を取って
よって、
(5)
求めるエントロピーは
(6)
確率