京都大学 情報学研究科 知能情報学専攻 2021年8月実施 専門科目 S-3

Author

祭音Myyura

Description

2次元実数空間におけるデータ点 が、確率密度関数 をもつ確率分布に従うとする。 この確率分布は、クラス と に対応する2つの確率分布の混合分布であり、それぞれが以下の確率密度関数をもつ：

また、クラス , の事前確率（混合重み） は、それぞれ

とする。なお、 は正の実数定数、 は実数定数とする。

設問1 クラス に属することが予め分かっている3つのデータ点 が与えられたときの、 の最尤推定値を求めよ。

設問2 とする。あるデータ点 がクラス と のいずれに属するかを、クラスの事後確率の大小を比較することで判定する。データ点 がクラス に属すると判定する条件を与えよ。

設問3 データ点 がクラス に属する事後確率が、クラス の事前確率と一致する時の の値を求めよ。

設問4 とする。2つのデータ点 が観測されたときの、 の最尤推定値を求めよ。なお、 としてよい。

Kai

設問1

We only need to find the value of that maximizes the log-joint likelihood function

Then,

Therefore, the maximum likelihood estimate of is

設問2

Let and denote the posterior class probabilities of a data point belongs to and , resp. Let denote the joint probability density function of and . From the Bayes' theorem, we have

by comparing the posterior class probabilities we have

by set we have

which can be simplied to

設問3

Since the prior probability and posterior probability is equal, we have

which implies that

Note that , hence

i.e., , which implies that

solving (i) by substituting , we have

設問4

The objective is

by solving the following equations (note that when , we have , , , .)

we have