金沢大学 自然科学研究科 電子情報通信学専攻 2022年8月実施 専門科目 情報理論
Author
金沢大学
Description
無記憶情報源 において の発生確率 が であった。この無記憶情報源 の出力を用いて とおき，送信記号集合 を構成する。
この送信記号集合 に属する記号 を，通信路行列
である通信路 を介して送信したとき，受信記号集合 に属する記号 が受信されるとする。通信路 の通信路行列 の 行 列要素は， を送信したときに が受信される事象の発生確率を表す。
ただし，エントロピー関数 は
であり， のとき最大値 となる。
の 2 次拡大情報源 のエントロピー を求め，エントロピー関数 を用いて表しなさい。
符号 では の情報源記号が符号化され，情報源記号 は下表に示す にそれぞれ符号化される。
符号語 のハミング距離 を用いて
と定義される。 の最小ハミング距離 が であり， それぞれの符号語 のハミング重み がいずれも であるとする。
このとき，符号語 となりえる符号語の組み合わせの数を求めなさい。ただし，ある符号語 を として採用できるとき， という割り当てと という割り当ては，符号語 となりえる符号語の組み合わせの数としては 1 つと数えることとする。
を求め，エントロピー関数 を用いて表しなさい。ただし，
とする。
事後確率 と を求めなさい。
を求め，エントロピー関数を用いて表しなさい。そして，通信路 の通信路容量を求めなさい。
Kai
の各情報源記号の発生確率は
である。
したがって，
よって，
である。
であり， であるため，
となり，これは を満たす。
次に， とのハミング距離を考える。 の 1 が立っている位置は第 3, 4, 5 ビットである。 はハミング重み 3 であるから， と 1 の位置が 2 個以上重なると， とのハミング距離が 2 以下となり， を満たさない。
したがって， の候補は， の 1 の位置と高々 1 個だけ重なる符号語である。
この条件を満たす符号語は次の 10 個である。
ただし， は，他の 9 個の候補のいずれとも 1 の位置が 2 個重なる。したがって，他の候補とのハミング距離は
となり， の組として同時に採用することはできない。
一方，残りの 9 個の候補については，1 つの符号語に対して，ハミング距離が 3 以上となる相手が 4 個存在する。
したがって，順序を区別しない組み合わせの数は
である。
よって，求める符号語 となりえる符号語の組み合わせの数は
である。
受信記号 の発生確率は
である。
ここで
より，
また，
である。
したがって，
よって，
である。
ベイズの定理より，
である。ここで，
だから，
である。
同様に，
であり，
より，
である。
問4より，
であり，
である。また，
である。
したがって，条件付きエントロピー は
となる。これを整理すると，
である。
さらに対数を展開すると，
となる。各項をまとめると，
である。
したがって，
となる。
次に，相互情報量は
であるから，
である。
よって，通信路 の通信路容量は
である。
ここで， は に依存しないので， が最大となるように を選べばよい。エントロピー関数 は
のとき最大値 をとる。
また，
であるから， のとき，
とすれば
となる。したがって，
である。