京都大学情報学研究科知能情報学専攻 2020年8月実施専門科目 S-3

Author

祭音Myyura

予測問題を考える。入力、それに対応する出力をとし、学習データセットが与えられている。なお、学習データセットは同時確率密度関数の分布から独立に生成されているとする。

ここで線形モデル

を用いる。なおおよびは回帰係数である。

設問1 以下の目的関数を最小化するおよびを学習データセットを用いて導け。

設問2 学習データセットがで与えられている。この学習データセットから推定した回帰係数およびをそれぞれ計算せよ。

設問3 以下の目的関数を考える。

なお、同時確率密度関数はである。今、をの周辺確率密度関数とし、をの周辺確率密度関数とし、条件付き確率がを満たすとする。をおよびを用いて答えよ。導出過程も示せ。

設問4 以下の目的関数

の学習データセットによる近似は設問1ので与えられる。同様に、設問3の近似を学習データセットおよび、を用いて導け。

設問5 設問4のを最小化するおよびを学習データセットおよび、を用いて導け。

とおくと、

により

を得る。式 (i) に代入すると、

がわかる。

ここで、の分散をとおく、との共分散をとおくと、

が分かり、は以下のように表すことができる。

よって、

ベイズの定理により、

したがって、

設問1同様に計算すれば良い。ここで、とおく。

整理すると、

を得る。これを式 (iii) に代入すると、

したがって、