跳到主要内容

早稲田大学 創造理工学研究科 経営システム工学専攻 2019年7月実施 情報数理応用 問題6

标签：

Author​

祭音Myyura

Description​

  1. ベルヌーイ情報源のパラメータ の事前分布が である。長さ のデータで1が 回観測されたとき、事後密度、平均、最頻値を求めよ。
  2. 定常無記憶情報源 の十分長い標準系列について、各系列の生起確率と本数をエントロピー で示し、標準系列を説明せよ。
  3. 独立な に対し、 を満たす推定量 の分散を最小化する を求めよ。
  4. ランダムフォレストの概要と特徴を説明せよ。
  5. 次元の呪いにより、特徴空間の次元が増えると生じる現象を説明せよ。

Kai​

[小問 1]​

尤度は に比例する。ベータ分布との共役性から

したがって事後密度は

平均は

かつ なら最頻値は

これらの条件を満たさない場合、最頻値は対応する端点となる。

[小問 2]​

対数の底を2とする。十分大きい に対し、標準系列では各記号 の出現頻度が に近く、各系列の確率は

でほぼ等しい。標準系列全体の確率は1に近いため、その本数は

となる。すなわち、全 系列のうち比較的少数の標準系列が確率のほとんどを担い、1記号当たり約 bit まで圧縮できる。

[小問 3]​

独立性より

Cauchy--Schwarz の不等式から

したがって である。等号は全係数が等しいときに限るため

このとき推定量は通常の標本平均で、最小分散は である。

[小問 4]​

ランダムフォレストは、訓練データのブートストラップ標本ごとに決定木を学習し、各分岐でも候補特徴量をランダムに制限して多数の木を作る。分類では多数決、回帰では平均により予測する。

木同士の相関を下げて平均化するため、単一の決定木より分散と過学習を抑えやすい。非線形関係・特徴間相互作用を扱え、尺度変換にも比較的頑健で、特徴量重要度も得られる。一方、モデルが大きくなり、単一木より解釈しにくく、非常に疎で高次元な問題では計算負荷が大きくなる。

[小問 5]​

次元 が増えると、一定密度で空間を覆うために必要な標本数が指数的に増える。有限標本は空間内で疎になり、局所密度推定や近傍探索が不安定になる。また最近点と遠方点の距離が相対的に似通い、距離の識別力が低下する。不要な特徴が増えるほど推定分散と過学習の危険も増すため、次元削減・特徴選択・正則化が重要となる。

目录