跳到主要内容

京都大学 情報学研究科 知能情報学専攻 2020年8月実施 専門科目 S-3

标签：

Author​

祭音Myyura

Description​

大学公表の原題 予測問題を考える。 入力 xi∈Rx_i \in \mathbb{R}、それに対応する出力を yi∈Ry_i \in \mathbb{R} とし、学習データセット D={(x1,y1),(x2,y2),…,(xn,yn)}\mathcal{D} = \{(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)\} が与えられている。 なお、学習データセットは同時確率密度関数 p(x,y)p(x,y) の分布から独立に生成されているとする。

ここで線形モデル

f(x;a,b)=ax+bf(x;a,b) = ax + b

を用いる。なお a∈Ra \in \mathbb{R} および b∈Rb \in \mathbb{R} は回帰係数である。

設問1 以下の目的関数 J^(a,b)\hat{J}(a,b) を最小化する a^\hat{a} および b^\hat{b} を学習データセット D\mathcal{D} を用いて導け。

J^(a,b)=1n∑i=1n(yi−f(xi;a,b))2\hat{J}(a,b) = \frac{1}{n} \sum_{i=1}^n (y_i - f(x_i;a,b))^2

設問2 学習データセットが D′={(1,2),(3,3),(2,1),(4,5),(5,4)}\mathcal{D}' = \{(1,2), (3,3), (2,1), (4,5), (5,4)\} で与えられている。この学習データセット D′\mathcal{D}' から推定した回帰係数 a^\hat{a} および b^\hat{b} をそれぞれ計算せよ。

設問3 以下の目的関数を考える。

J′(a,b)=∬(y−f(x;a,b))2p′(x,y)dxdyJ'(a,b) = \iint(y-f(x;a,b))^2 p'(x,y) \text{d}x\text{d}y

なお、同時確率密度関数 p′(x,y)p'(x,y) は p′(x,y)≠p(x,y)p'(x,y) \neq p(x,y) である。 今、p(x)p(x) を p(x,y)p(x,y) の周辺確率密度関数とし、p′(x)p'(x) を p′(x,y)p'(x,y) の周辺確率密度関数とし、条件付き確率が p(y∣x)=p′(y∣x)p(y|x)=p'(y|x) を満たすとする。 \boxed{\quad} を p(x)p(x) および p′(x)p'(x) を用いて答えよ。 導出過程も示せ。

J′(a,b)=∬(y−f(x;a,b))2  p(x,y)dxdyJ'(a,b) = \iint (y-f(x;a,b))^2\ \boxed{\quad}\ p(x,y) \text{d}x\text{d}y

設問4 以下の目的関数

J(a,b)=∬(y−f(x;a,b))2p(x,y)dxdyJ(a,b) = \iint (y-f(x;a,b))^2 p(x,y) \text{d}x\text{d}y

の学習データセット D\mathcal{D} による近似は設問1の J^(a,b)\hat{J}(a,b) で与えられる。同様に、設問3の J′(a,b)J'(a,b) 近似 J^′(a,b)\hat{J}'(a,b) を学習データセット D\mathcal{D} および p(x)p(x)、p′(x)p'(x) を用いて導け。

設問5 設問4の J^′(a,b)\hat{J}'(a,b) を最小化する a^\hat{a} および b^\hat{b} を学習データセット D\mathcal{D} および p(x)p(x)、p′(x)p'(x) を用いて導け。

题目描述​

给定从联合密度 p(x,y)p(x,y) 独立生成的训练集 D={(xi,yi)}i=1n\mathcal D=\{(x_i,y_i)\}_{i=1}^n，其中 xi,yi∈Rx_i,y_i\in\mathbb R。采用线性模型

f(x;a,b)=ax+b.f(x;a,b)=ax+b.
  1. 用 D\mathcal D 推导使
    J^(a,b)=1n∑i=1n(yi−f(xi;a,b))2\hat J(a,b)=\frac1n\sum_{i=1}^n(y_i-f(x_i;a,b))^2
    最小的 a^,b^\hat a,\hat b。
  2. 对 D′={(1,2),(3,3),(2,1),(4,5),(5,4)}\mathcal D'=\{(1,2),(3,3),(2,1),(4,5),(5,4)\}，计算回归系数 a^,b^\hat a,\hat b。
  3. 另有联合密度 p′(x,y)≠p(x,y)p'(x,y)\ne p(x,y)，并满足 p(y∣x)=p′(y∣x)p(y\mid x)=p'(y\mid x)。边缘密度分别为 p(x),p′(x)p(x),p'(x)。用二者填写
    J′(a,b)=∬(y−f(x;a,b))2 p(x,y) dx dy,J'(a,b)=\iint(y-f(x;a,b))^2\boxed{\quad}\,p(x,y)\,dx\,dy,
    并给出推导。
  4. J(a,b)=∬(y−f)2p(x,y) dx dyJ(a,b)=\iint(y-f)^2p(x,y)\,dx\,dy 的训练集近似是第 1 问的 J^\hat J。类似地，用 D\mathcal D 及 p(x),p′(x)p(x),p'(x) 推导 J′(a,b)J'(a,b) 的近似 J^′(a,b)\hat J'(a,b)。
  5. 用 D,p(x),p′(x)\mathcal D,p(x),p'(x) 推导使 J^′(a,b)\hat J'(a,b) 最小的 a^,b^\hat a,\hat b。

Kai​

設問1​

x‾=n−1∑ixi\overline x=n^{-1}\sum_i x_i、y‾=n−1∑iyi\overline y=n^{-1}\sum_i y_i とする。目的関数の偏微分を零とおくと、正規方程式

∑ixi(yi−axi−b)=0,∑i(yi−axi−b)=0\sum_i x_i(y_i-ax_i-b)=0,\qquad \sum_i(y_i-ax_i-b)=0

を得る。したがって b=y‾−ax‾b=\overline y-a\overline x であり、∑i(xi−x‾)2>0\sum_i(x_i-\overline x)^2>0 の場合、

a^=∑i(xi−x‾)(yi−y‾)∑i(xi−x‾)2=n∑ixiyi−(∑ixi)(∑iyi)n∑ixi2−(∑ixi)2,b^=y‾−a^x‾.\boxed{\hat a= \frac{\sum_i(x_i-\overline x)(y_i-\overline y)}{\sum_i(x_i-\overline x)^2} =\frac{n\sum_i x_i y_i-(\sum_i x_i)(\sum_i y_i)} {n\sum_i x_i^2-(\sum_i x_i)^2},\qquad \hat b=\overline y-\hat a\overline x.}

二乗和は凸関数なので、この解は大域的最小値を与える。 σx2=n−1∑i(xi−x‾)2\sigma_x^2=n^{-1}\sum_i(x_i-\overline x)^2、 σxy=n−1∑i(xi−x‾)(yi−y‾)\sigma_{xy}=n^{-1}\sum_i(x_i-\overline x)(y_i-\overline y) とおけば a^=σxy/σx2\hat a=\sigma_{xy}/\sigma_x^2 である。

すべての xix_i が同じ値 x0x_0 の場合、最小化解は ax0+b=y‾ax_0+b=\overline y を満たすすべての (a,b)(a,b) となる。

設問2​

x‾=y‾=3,σx2=105=2,σxy=85.\overline x=\overline y=3,\qquad \sigma_x^2=\frac{10}{5}=2,\qquad \sigma_{xy}=\frac{8}{5}.

よって、

a^=45,b^=35.\boxed{\hat a=\frac45,\qquad \hat b=\frac35.}

設問3​

重み付けには p′(x)>0p'(x)>0 となる領域で p(x)>0p(x)>0 が必要である。この条件のもとで、条件付き密度の分解により、

p′(x,y)=p′(y∣x)p′(x)=p(y∣x)p′(x)=p(x,y)p(x)p′(x)=p′(x)p(x)p(x,y)p^{\prime}(x, y) = p^{\prime}(y|x)p^{\prime}(x) = p(y|x)p^{\prime}(x) = \frac{p(x, y)}{p(x)} p^{\prime}(x) = \frac{p^{\prime}(x)}{p(x)} p(x, y)

したがって、

J′(a,b)=∫∫(y−f(x;a,b))2⋅p′(x)p(x)p(x,y)dxdyJ'(a, b) = \int \int\left(y - f(x; a, b)\right)^{2} \cdot \frac{p^{\prime}(x)}{p(x)} p(x, y)dxdy

設問4​

J^′(a,b)=1n∑i=1n(yi−f(xi;a,b))2⋅p′(xi)p(xi)\hat{J}'(a, b) = \frac{1}{n} \sum_{i=1}^n (y_i - f(x_i; a, b))^2\cdot \frac{p^{\prime}(x_i)}{p(x_i)}

設問5​

設問1同様に計算すれば良い。ここで、qi=p′(xi)p(xi)q_i = \frac{p'(x_i)}{p(x_i)} とおく。

∂J^′(a,b)∂a=−2n∑i=1n(yi−axi−b)xiqi=−2(xyq‾−ax2q‾−bxq‾)=0∂J^′(a,b)∂b=−2n∑i=1n(yi−axi−b)qi=−2(yq‾−axq‾−bq‾)=0\begin{align} \frac{\partial \hat{J}'(a, b)}{\partial a} &= -\frac{2}{n} \sum_{i=1}^{n} (y_i - ax_i - b) x_i q_i = -2(\overline{xyq} - a \overline{x^2q} -b\overline{xq}) = 0 \tag{iii} \\ \frac{\partial \hat{J}'(a, b)}{\partial b} &= -\frac{2}{n} \sum_{i=1}^{n} (y_i - ax_i - b)q_i = -2(\overline{yq} - a \overline{xq} -b\overline{q}) = 0 \tag{iv} \end{align}

整理すると、

b=yq‾−axq‾q‾b = \frac{\overline{yq} - a\overline{xq}}{\overline{q}}

を得る。これを式 (iii) に代入すると、

xyq‾−ax2q‾−yq‾−axq‾q‾xq‾=0⇒a^=xyq‾⋅q‾−xq‾⋅yq‾x2q‾⋅q‾−xq‾2\begin{aligned} &\overline{xyq} - a \overline{x^2q} -\frac{\overline{yq} - a\overline{xq}}{\overline{q}} \overline{xq} = 0 \\ &\Rightarrow \hat{a} = \frac{\overline{xyq}\cdot\overline{q} - \overline{xq}\cdot\overline{yq}}{\overline{x^2q}\cdot\overline{q} - \overline{xq}^2} \end{aligned}

したがって、

b^=yq‾−a^xq‾q‾\hat{b} = \frac{\overline{yq} - \hat{a}\overline{xq}}{\overline{q}}

W=∑iqi>0W=\sum_i q_i>0 とし、x‾q=∑iqixi/W\overline x_q=\sum_iq_ix_i/W、y‾q=∑iqiyi/W\overline y_q=\sum_iq_iy_i/W とおく。上の解が一意となる条件は ∑iqi(xi−x‾q)2>0\sum_iq_i(x_i-\overline x_q)^2>0 である。重みが正の点の xix_i がすべて x0x_0 なら、最小化解は ax0+b=y‾qax_0+b=\overline y_q を満たすすべての組である。W=0W=0 なら目的関数は恒等的に零となり、すべての (a,b)(a,b) が最小化解である。

本页目录