跳到主要内容

新潟大学 自然科学研究科 電気情報工学専攻 情報工学コース 2022年度 情報理論 3

标签：

Author​

祭音Myyura (co-authored with GPT 5.6 SOL)

Description​

無記憶情報源 XX は

P(x1)=34,P(x2)=14P(x_1)=\frac34,\qquad P(x_2)=\frac14

に従い、x1,x2x_1,x_2 をそれぞれ長さ 11 の符号語で符号化する。必要ならば log⁡23=1.59\log_2 3=1.59 を用いてよい。

  1. H(X)H(X) を求めよ。
  2. 平均符号長 LL と符号化効率 η\eta を求めよ。
  3. 二次拡大情報源 X2X^2 の Huffman 符号を一つ求めよ。
  4. H(X2)H(X^2) を求めよ。
  5. (3) の平均符号長と符号化効率を求めよ。

Kai​

(1)​

H(X)=−34log⁡234−14log⁡214=2−34log⁡23≃0.8075.H(X)=-\frac34\log_2\frac34-\frac14\log_2\frac14 =2-\frac34\log_2 3\simeq0.8075.

(2)​

L=1,η=H(X)L≃0.8075.L=1,\qquad \eta=\frac{H(X)}L\simeq0.8075.

(3)​

一例として

x1x1:0,x1x2:10,x2x1:110,x2x2:111.x_1x_1:0,\quad x_1x_2:10,\quad x_2x_1:110,\quad x_2x_2:111.

(4)​

無記憶なので

H(X2)=2H(X)=4−32log⁡23≃1.615.H(X^2)=2H(X)=4-\frac32\log_2 3\simeq1.615.

(5)​

L=916+2316+3(316+116)=2716,L=\frac9{16}+2\frac3{16}+3\left(\frac3{16}+\frac1{16}\right) =\frac{27}{16},
η=H(X2)L≃0.957.\eta=\frac{H(X^2)}L\simeq0.957.

Reference​

本页目录