大阪大学 基礎工学研究科 機械科学 (機能創成専攻) 2022年8月実施 機械科学I 問題3

标签：

• 大阪大学
• 函数方程
• 自信息

Author

Miyake, 祭音Myyura

Description

確率、エントロピー、及びそれに係る数学的基礎について次の問に答えよ。

(1) 区間 $[0,\infty)$ で定義された連続関数 $f(x)$ が

$$\begin{aligned} f(x)&\ge0,&&x\in[0,\infty)\qquad\text{(i)}\\ f(x+y)&=f(x)+f(y),&&x,y\in[0,\infty)\qquad\text{(ii)} \end{aligned}$$

を満足するとき、以下を示せ。

(a) $x_1,x_2\in[0,\infty)$、$x_2>x_1$ に対し、$f(x_2)\ge f(x_1)$ が成り立つ。

(b) 任意の非負の整数を $n$ とするとき、$f(nx)=nf(x)$、$x\in[0,\infty)$ が成り立つ。

(c) 任意の整数 $m\ge0,n>0$ に対し、有理数 $r=m/n$ として、$f(rx)=rf(x)$、$x\in[0,\infty)$ が成り立つ。

(d) $c$ を非負の実数とするとき、$f(x)=cx$、$x\in[0,\infty)$ が成り立つ。

(2) 区間 $(0,1]$ で定義された連続関数 $I(p)$ が

$$\begin{aligned} I(p)&\ge0,&&p\in(0,1],\\ I(pq)&=I(p)+I(q),&&p,q\in(0,1],\\ I\!\left(\frac12\right)&=1 \end{aligned}$$

を満足するとき、以下を示せ。

(e) $p=2^{-x}$、$x\in[0,\infty)$ とおき、$f(x)=I(p)$ とする。このとき $f(x)$ は問 (1) の条件 (i)、(ii) を満足する。

(f) $I(p)=-\log_2p$、$p\in(0,1]$ が成り立つ。

(3) $N$ 個の事象が離散確率分布

$$\begin{gathered} \boldsymbol p=(p_1,p_2,\ldots,p_N),\qquad p_i\ge0\ (i=1,2,\ldots,N),\\ \sum_{i=1}^N p_i=1 \end{gathered}$$

に従うとき、以下によって定義される量

$$H(\boldsymbol p)=\sum_{i=1}^N(-p_i\log_2p_i)$$

をエントロピーと呼ぶ。ただし、$p_i=0$ のとき、$-p_i\log_2p_i=0$ とする。確率分布の制約条件 $\sum_{i=1}^N p_i=1$ のもとでエントロピー関数 $H(\boldsymbol p)$ が極値をとる点を考えることで、エントロピーを最大にする確率分布 $\boldsymbol p^*$ 及びそのときのエントロピー $H(\boldsymbol p^*)$ を求めよ。

题目描述

回答下列有关概率、熵及其数学基础的问题。

(1) 定义在 $[0,\infty)$ 上的连续函数 $f(x)$ 满足

$$\begin{aligned} f(x)&\ge0,&&x\in[0,\infty)\qquad\text{(i)}\\ f(x+y)&=f(x)+f(y),&&x,y\in[0,\infty)\qquad\text{(ii)}. \end{aligned}$$

证明下列结论。

(a) 对 $x_1,x_2\in[0,\infty)$ 且 $x_2>x_1$，有 $f(x_2)\ge f(x_1)$。

(b) 对任意非负整数 $n$，有 $f(nx)=nf(x)$，$x\in[0,\infty)$。

(c) 对任意整数 $m\ge0,n>0$，令有理数 $r=m/n$，则 $f(rx)=rf(x)$，$x\in[0,\infty)$。

(d) 以 $c$ 表示非负实数时，有 $f(x)=cx$，$x\in[0,\infty)$。

(2) 定义在 $(0,1]$ 上的连续函数 $I(p)$ 满足

$$\begin{aligned} I(p)&\ge0,&&p\in(0,1],\\ I(pq)&=I(p)+I(q),&&p,q\in(0,1],\\ I\!\left(\frac12\right)&=1. \end{aligned}$$

证明下列结论。

(e) 令 $p=2^{-x}$，$x\in[0,\infty)$，并定义 $f(x)=I(p)$，则 $f(x)$ 满足 (1) 的条件 (i)、(ii)。

(f) $I(p)=-\log_2p$，$p\in(0,1]$。

(3) $N$ 个事件服从离散概率分布

$$\begin{gathered} \boldsymbol p=(p_1,p_2,\ldots,p_N),\qquad p_i\ge0\ (i=1,2,\ldots,N),\\ \sum_{i=1}^Np_i=1. \end{gathered}$$

定义熵为

$$H(\boldsymbol p)=\sum_{i=1}^N(-p_i\log_2p_i),$$

其中 $p_i=0$ 时约定 $-p_i\log_2p_i=0$。在约束 $\sum_{i=1}^Np_i=1$ 下，考虑熵函数 $H(\boldsymbol p)$ 取极值的点，求使熵最大的概率分布 $\boldsymbol p^*$ 及相应的熵 $H(\boldsymbol p^*)$。

Kai

(1)

(a)

$a=x_2-x_1$ とおくと、 $a \gt 0$ であるから、与えられた条件式 (i) より $f(a) \geq 0$ がわかる。 よって、

$$\begin{aligned} f(x_2) &= f(x_1+a) \\ &= f(x_1) + f(a) \ \ \ \ \ \ \ \ ( \because \text{ (ii) } ) \\ &\geq f(x_1) \end{aligned}$$

がわかる。

(b)

与えられた条件式 (ii) で $x=y=0$ とおくことで

$$\begin{aligned} f(0) = 0 \end{aligned}$$

がわかる。 よって、 $n=0$ のとき

$$\begin{aligned} f(nx) = nf(x) \end{aligned}$$

が成り立つことがわかる。 また、 $n=1, 2, \cdots$ のとき

$$\begin{aligned} f(nx) &= f(x + x + \cdots + x) \\ &= f(x) + f(x) + \cdots + f(x) \ \ \ \ \ \ \ \ ( \because \text{ (ii) } ) \\ &= n f(x) \end{aligned}$$

が成り立つ。

($c$)

$$\begin{aligned} f(rx) &= f \left( \frac{m}{n} x \right) \\ &= m f \left( \frac{1}{n} x \right) \ \ \ \ \ \ \ \ ( \because \text{ (b) } ) \\ &= rn f \left( \frac{1}{n} x \right) \\ &= r f \left( n \cdot \frac{1}{n} x \right) \ \ \ \ \ \ \ \ ( \because \text{ (b) } ) \\ &= r f \left( x \right) \end{aligned}$$

(d)

$x$ が正の有理数のとき、

$$\begin{aligned} f(x) &= f( x \cdot 1) \\ &= x f(1) \ \ \ \ \ \ \ \ ( \because \text{ (c) } ) \\ &= cx \ \ \ \ \ \ \ \ ( c = f(1) \geq 0) \end{aligned}$$

である。 $f$ は連続関数であることから、 $x \in [0, \infty)$ について

$$\begin{aligned} f(x) = cx \ \ \ \ \ \ \ \ ( c = f(1) \geq 0) \end{aligned}$$

が成り立つことがわかる。

(2)

(e)

$f(x)$ が問 (1) の条件 (i) を満足することは、次のようにしてわかる：

$$\begin{aligned} f(x) &= I \left( 2^{-x} \right) \\ &\geq 0 . \ \ \ \ \ \ \ \ ( \because I(p) \text{ に関する1番目の条件 } ) \end{aligned}$$

$f(x)$ が問 (1) の条件 (ii) を満足することは、次のようにしてわかる：

$$\begin{gathered} f(x+y) = I \left( 2^{-(x+y)} \right) \\ = I \left( 2^{-x} \cdot 2^{-y} \right) \\ = I \left( 2^{-x} \right) + I \left( 2^{-y} \right) \quad ( \because I(p) \text{ に関する2番目の条件 } ) \\ = f(x) + f(y) . \end{gathered}$$

また、$I$ と $x\mapsto2^{-x}$ は連続なので、$f$ も連続である。

(f)

(d), (e) より、

$$\begin{aligned} I(p) &= f \left( - \log_2 p \right) \\ &= - c \log_2 p \ \ \ \ (c \geq 0) \end{aligned}$$

がわかる。 さらに $I(p)$ に関する3番目の条件から $c=1$ がわかり、

$$\begin{aligned} I(p) &= - \log_2 p \end{aligned}$$

を得る。

(3)

$N=1$ なら $p_1=1,H=0$。以下 $N\ge2$ とする。内部 $p_i>0$ では、Lagrange 乗数 $\lambda$ を用いて

$$\mathcal L=-\frac1{\ln2}\sum_{i=1}^Np_i\ln p_i+\lambda\left(\sum_{i=1}^Np_i-1\right)$$

と置く。停留条件は

$$-\frac{\ln p_i+1}{\ln2}+\lambda=0,$$

なので全ての $p_i$ が等しく、$p_i^*=1/N$ となる。Hessian の対角成分は $-1/(p_i\ln2)<0$ で、内部では厳密に凹である。境界で正の確率を持つ事象が $K<N$ 個なら、その面上での最大値は同じ計算により $\log_2K<\log_2N$。よって全体の最大値は

$$\boxed{\begin{gathered} p^*=(1/N,\ldots,1/N),\\ H(p^*)=\log_2N \end{gathered}}.$$

Reference

• 大阪大学 基礎工学研究科 2023年度 機械科学I