京都大学 情報学研究科 知能情報学専攻 2021年8月実施 専門科目 S-3

标签：

• Kyoto-University
• Gaussian-Mixture-Model
• Gaussian-Generative-Classifier
• Bayesian-Decision-Boundary
• Maximum-Likelihood-Estimation

Author

祭音Myyura

Description

2次元実数空間におけるデータ点 $(x, y)$ が、確率密度関数 $f(x, y)$ をもつ確率分布に従うとする。 この確率分布は、クラス $A$ と $B$ に対応する2つの確率分布の混合分布であり、それぞれが以下の確率密度関数をもつ：

$$f_A(x, y) = \frac{1}{\pi} \exp\left(-\frac{x^2}{a} - ay^2\right), \ f_B(x, y) = \frac{1}{\pi} \exp\left(-(x-2)^2 - (y-3)^2\right).$$

また、クラス $A$, $B$ の事前確率（混合重み） $p_A, p_B$ は、それぞれ

$$p_A = \frac{1}{1 + \exp(b)}, \quad p_B = 1 - p_A$$

とする。なお、$a$ は正の実数定数、$b$ は実数定数とする。

設問1 クラス $A$ に属することが予め分かっている3つのデータ点 $(1,1), (2,2), (0,1)$ が与えられたときの、$a$ の最尤推定値を求めよ。

設問2 $a = 1$ とする。あるデータ点 $(x, y)$ がクラス $A$ と $B$ のいずれに属するかを、クラスの事後確率の大小を比較することで判定する。データ点 $(x, y)$ がクラス $A$ に属すると判定する条件を与えよ。

設問3 データ点 $(1,1)$ がクラス $A$ に属する事後確率が、クラス $A$ の事前確率と一致する時の $a$ の値を求めよ。

設問4 $a = 0.5$ とする。2つのデータ点 $(0,0), (1,2)$ が観測されたときの、$b$ の最尤推定値を求めよ。なお、$\exp(-10) \approx 0$ としてよい。

Kai

設問1

We only need to find the value of $a$ that maximizes the log-joint likelihood function $L(a)$

$$\begin{aligned} L(a) &= \ln \prod_{i=1}^{n}\left\{p_{A}f_{A}(x_{i},y_{i})+p_{B}f_{B}(x_{i},y_{i})\right\}\\ &\propto \ln \prod_{i=1}^{n}f_{A}(x_{i},y_{i}) = -n\ln \pi -\frac{1}{a}\sum_{i=1}^{n}x_{i}^{2}-a\sum_{i=1}^{n}y_{i}^{2}\\ \end{aligned}$$

Then,

$$\frac{\partial L(a)}{\partial a} = \frac{1}{a^{2}}\sum_{i=1}^{n}x_{i}^{2}-\sum_{i=1}^{n}y_{i}^{2} = 0 \Rightarrow a = \sqrt{\frac{\sum_{i=1}^{n}x_{i}^{2}}{\sum_{i=1}^{n}y_{i}^{2}}}$$

Therefore, the maximum likelihood estimate of $a$ is

$$a = \sqrt{\frac{1^{2}+2^{2}+0^{2}}{1^{2}+2^{2}+1^{2}}} = \frac{\sqrt{30}}{6}$$

設問2

Let $f'_A(x,y)$ and $f'_B(x,y)$ denote the posterior class probabilities of a data point $(x,y)$ belongs to $A$ and $B$, resp. Let $P(x,y)$ denote the joint probability density function of $x$ and $y$. From the Bayes' theorem, we have

$$\begin{aligned} f'_A(x,y) &= \frac{f_A(x,y)p_A}{P(x,y)}\\ f'_B(x,y) &= \frac{f_B(x,y)p_B}{P(x,y)} \end{aligned}$$

by comparing the posterior class probabilities we have

$$f_A(x,y) p_A > f_B(x,y) p_b \Rightarrow \frac{1}{\pi(1+e^{b})}e^{-\frac{x^2}{a} - ay^2} >\frac{e^{b}}{\pi(1+e^{b})}e^{-(x-2)^{2}-(y-3)^{2}}$$

by set $a = 1$ we have

$$\frac{1}{\pi(1+e^{b})}e^{-x^{2}-y^{2}} >\frac{e^{b}}{\pi(1+e^{b})}e^{-(x-2)^{2}-(y-3)^{2}}$$

which can be simplied to

$$6y+2x+b-13 < 0$$

設問3

Since the prior probability and posterior probability is equal, we have

$$f'_A(x,y) = \frac{f_A(x,y)p_A}{P(x,y)} = p_A$$

which implies that

$$f_A(x,y) = P(x, y).$$

Note that $P(x,y) = p_{A}f_{A}(x,y)+p_{B}f_{B}(x,y)$, hence

$$(1-p_{A})f_{A}(x,y) = (1-p_{A})f_{B}(x,y)$$

i.e., $f_A(x,y) = f_B(x,y)$, which implies that

$$\begin{align} -\frac{x^{2}}{a}-ay^{2} = -(x-2)^{2}-(y-3)^{2} \tag{i} \end{align}$$

solving (i) by substituting $(x,y) = (1,1)$, we have

$$a= \frac{5\pm \sqrt{21}}{2}$$

設問4

The objective is

$$\begin{aligned} T(b) &= \ln \prod_{i=1}^{n}f(x_{i},y_{i})\\ &= \ln \prod_{i=1}^{n}\left(p_{A}f_{A}(x_{i},y_{i})+p_{B}f_{B}(x_{i},y_{i})\right)\\ &= \sum_{i=1}^{n} \ln \left(p_{A}f_{A}(x_{i},y_{i})+p_{B}f_{B}(x_{i},y_{i})\right)\\ \end{aligned}$$

by solving the following equations (note that when $a = 0.5$, we have $f_{A}(0,0)=1/\pi$, $f_{A}(1,2)=e^{-4}/\pi$, $f_{B}(0,0)=e^{-13}/\pi\approx 0$, $f_{B}(1,2)=e^{-2}/\pi$.)

$$\begin{aligned} \frac{\partial T(b)}{\partial b} &= \frac{e^{b}}{1+e^{b}}\sum_{i=1}^{n}\frac{-f_{A}(x_{i},y_{i})+f_{B}(x_{i},y_{i})}{f_{A}(x_{i},y_{i})+e^{b}f_{B}(x_{i},y_{i})} = 0 \end{aligned}$$

we have

$$\frac{-e^{-4}+e^{-2}}{e^{-4}+e^{b-2}} = 1 \Rightarrow b = \ln(e^{2}-2)-2$$