九州大学システム情報科学府情報理工学専攻 2020年8月実施情報理論

Author

入力アルファベットと出力アルファベットがともにである無記憶な通信路の通信路行列が

で与えられているとする．ただし，成分はを表す．この通信路の通信路容量を求めよ．また，それを達成する入力分布を全て求めよ．

定常無記憶情報源を考える．この情報源のアルファベットを有限集合とし，各は確率分布に従うものとする．任意に固定されたに対し，系列が

を満たすとき，この系列をに関する典型系列であると言う．ここで，はのエントロピーを表し，は同時確率分布を表す．全ての典型系列からなる集合をと表記する．次の各問いに答えよ．ただし， $，，$ とする．ここでは定数である．

(1) に対し，を求めよ．

(2) に対するおよびを求めよ．

(3) に対し，とおく．とする．に属する系列に対するの範囲を求めよ．

入 力 分 布 は