九州大学 システム情報科学府 情報理工学専攻 2022年8月実施 情報理論

Author

Yu

Description

【問 1】

以下の各問いに答えよ．

(1) 区間 上の一様分布に従う確率変数の微分エントロピーを求めよ．

(2) 区間 上で定義された確率密度関数 に従う確率変数の微分 エントロピーを求めよ．

【問 2】

時刻 の入力 に対し，入力と独立な誤り源 から発生した記号 が加わった値 が出力される加法的 元通信路 を考える． ただし， は排他的論理和を表し，, である．誤り源 が，, となる定常な単純マルコフ情報源である場合について，以下の問いに答えよ．

(1) 誤り源 の定常確率分布を求めよ．

(2) 誤り源 のエントロピーレート を求めよ．

(3) が である離散無記憶情報源からの出力であり， が定数 に固定されていると仮定する が である離散無記憶情報源の出力であることを示せ．

(4) 通信路 の通信路容量は以下の式で定義される．

ただし， は と の間の相互情報量を， は入力 の確率分布を， は 上の確率分布全てからなる集合を表す．このとき， と なることを示せ．

Kai

【問 1】

(1)

(2)

【問 2】

(1)

定常確率分布を とすると

(2)

(3)

のとき,

のとき,

(4)