東京大学 工学系研究科 電気系工学専攻 2021年8月実施 問題3 情報工学I

Author

donguri0912

Description

I

情報理論に関する以下の問に答えよ．無記憶情報源 における 番⽬ (ただし ) の信号を とし， となる確率を となる確率を とする．近似値として を⽤いてよい．

(1) のときのエントロピー を求めよ．

(2) のとき, の連続した つの信号をひとまとめにした の 値を効率よく符号化したい．符号化の例を示し，そのときの平均符号長を求めよ．

を⼊⼒とする無記憶通信路 を考える．その出⼒を , 番⽬の出⼒信号を したとき，% の確率で となるが，% の確率で にかかわらず となる．

(3) のときのエントロピー を求めよ．また，相互情報量 を求めよ．

(4) を最⼤化する は より⼤きいか⼩さいか答えよ．根拠も簡潔に述べよ．

II

信号処理に関する以下の問に答えよ．時間 および⾓周波数 は実数， は虚数単位であり，複素数 の複素共役を と表す．また，複素関数 のフーリエ変換 とそのフーリエ逆変換を次式で定義する．

(1) が成り立つことを示せ.

(2) が実関数のとき， が成り立つことを示せ.

アナログフィルタ Aのインパルス応答を実関数 で表す． の応答が因果律を満たすことから， において である．また， の実部および虚部をそれぞれ とおくと， である．

(3) を， を⽤いて表せ．

(4) を， を⽤いて表せ．

(5) が既知で が未知のとき，フーリエ変換とフーリエ逆変換を⽤いることで から を求めることができる．その⼿続きを ⾏程度で説明せよ．必要に応じて図や式を⽤いても良い．

ある実信号 の⾓周波数帯域が である，すなわち， のとき とする．この信号により⾓周波数 の搬送波を変調する状況を考える．

(6) 実信号 のフーリエ変換 を を⽤いて表せ．また， の⾓周波数帯域が となることを示せ．

(7) が既知であれば，適切な実信号 を準備し，実信号 を⽣成することで， の⾓周波数帯域を に制限することができる． から を求める⼿続きを ⾏程度で説明せよ．必要に応じて図や式を⽤いても良い．

Kai

I

(1)

-(0.75 log 0.75 + 0.25 log 0.25) = 0.8

(2)

下図は一例。

───┬─0────────── 0  : 00 = 9/16
   └─1─┬─0────── 10 : 01 = 3/16
       └─1─┬─0── 110: 10 = 3/16
           └─1── 111: 11 = 1/16

平均符号長は

(3)

      X        Y
0.25: 1 ─────── 1 : 0.25 + 0.75 * 20% = 0.40
　　         ─┐ 0.75 * 20%
           ／
         ／
0.75: 0 ─────── 0 : 0.75 * 80% = 0.60
Yで、1となる確率は 0.25 + 0.75 * 20% = 0.40
(もしくは 80% * 0.25 + 20% = 0.40か。
最初こう考えたが図で表しづらく他に応用が利かないと思った。)
よって、H(Y) = -(0.4 log 0.4 + 0.6 log 0.6) = 0.94
また、
H(Y|X) = -(0.25 log 100% + (0.75*20%) log 20% + (0.75*80%) log 80%) = 0.53
I(X; Y) = H(Y) - H(Y|X) = 0.41
(H(Y(X)、I(X; Y)は計算機と答えが違う))

(4)

これが最大となるのは となるときである。

よって最大となる は より小さい。ただし、 の筆記体はエントロピー関数。

II

(1)

(2)

(3)

(4)

(5)

において、 となることから、 において (3) より

のとき となる。よって、

これの逆フーリエ変換 から または を計算すればよい。

(6)

ただし、 は畳み込み積分である。

帯域は、 または に広がり、簡単化すると、

または

より または 　

よって

(7)

ここで とすると、

となる。

よって、 であるから、 とすればよい。