東京大学 情報理工学系研究科 電子情報学専攻 2024年8月実施 専門 第4問
Author
祭音Myyura (assisted by GPT-5)
Description
次元ベクトルを入力としスカラー値を出力するモデルを学習する問題を考える。
以下， はベクトルおよび行列の転置， は実数全体の集合， は 次元実数の列ベクトル全体の集合， は 次の実数正方行列全体の集合を表す。
訓練データとして， 個の 次元ベクトル と，それぞれ対応する出力 が与えられる。ここで および である 。各入力ベクトルを行として縦に並べて構成した行列を
と書く。さらに，出力をまとめて
と書く。これらをもとに 次元のパラメータ を学習する。任意の入力データ が与えられたとき，その出力を
と推定する。このとき，以下の設問に答えよ。
(1) 番目の訓練データの入力 に対し，学習した による推定結果を
とする。真の出力 と推定結果の誤差を
と書く。このとき，誤差 の二乗和
を を用いて表せ。
(2) を最小化するパラメータ が一意に求まる必要十分条件を求めよ。また，その際に得られる を書け。
なお，変数 ，定数 ，定数行列 に対し，次を用いてよい：
(3) を最小化するパラメータ が一意に求まらない場合，入力データ がどのような特性を持つか，定性的に述べよ。
(4) 番目の訓練データに対し重み が与えられるとする 。この重要度を考慮した誤差二乗和を
とする。 を最小化する が一意に求まる必要十分条件を求めよ。また，その際に得られる を書け（必要に応じて新たな変数を定義してよい）。
(5) 変数が下記の値をとるとき， を最小化する を求めよ。
Kai
(1)
誤差
誤差ベクトル をまとめると：
したがって、誤差二乗和 は
(2)
まず を で偏微分する。
よって，
極値条件（）より：
これが 正規方程式 (Normal Equation) である。
すなわち：
このとき最小二乗解は：
(3)
一意に解が求まらない場合は，
すなわち が非可逆である。これは：
- 入力データ (X) の列ベクトルが線形従属している場合（多重共線性）
ことを意味する。
(4)
重み付き誤差：
行列表記に直すと：
ただし，
偏微分して におく：
したがって：
一意解の条件
すなわち， の列が線形独立であり，各 のとき，一意な最小値を持つ。
解
(5)
よって