京都大学 情報学研究科 システム科学専攻 2023年8月実施 専門科目 確率統計

标签：

• Kyoto-University
• Poisson-Distribution
• Maximum-Likelihood-Estimation
• Weighted-Least-Squares
• Copula

Author

AKIRA (小红书:94184092292), 祭音Myyura

Description

大学公表の原題 以下の問題において， $P(A)$ は事象 $A$ の確率を表し， $E(X)$ と $V(X)$ は確率変数 $X$ の期待値と分散を表す．また， $e$ はネイピア数（自然対数の底）を表す．

問題1

ある日の，店 $i\ (i=1,\ldots,n)$ の来客数 $Y_i$ は，独立にポアソン分布 $Po(\lambda_i)$ にしたがう確率変数とする．ただし， $\lambda_i>0$ は未知パラメータである．なお，パラメータ $\lambda>0$ のポアソン分布 $Po(\lambda)$ の確率関数は

$$f(y;\lambda)=\frac{\lambda^{y} e^{-\lambda}}{y!},\quad y=0,1,\ldots$$

である．以下の設問に答えなさい．

(1) $Y_1,\ldots,Y_n$ を用いて， $\lambda_1,\ldots,\lambda_n$ の最尤推定量 $\hat\lambda_1,\ldots,\hat\lambda_n$ を求めよ．

(2) ポアソン分布 $Po(\lambda)$ にしたがう確率変数 $Y$ の期待値 $E(Y)$ と分散 $V(Y)$ を求めよ．

広い店ほど来客数が多い傾向があり，店 $i$ の広さを定数 $x_i>0$ で表すと $\lambda_i=\theta x_i\ (i=1,\ldots,n)$ となることがわかった．ただし， $\theta>0$ は未知パラメータである．

(3) 最尤法で $\theta$ を推定したい． $Y_1,\ldots,Y_n$ を用いて， $\theta$ の最尤推定量 $\hat\theta$ を求めよ．

(4) 設問 (3) の $\hat\theta$ の期待値 $E(\hat\theta)$ と分散 $V(\hat\theta)$ を求めよ．

(5) 重み付き最小二乗法で $\theta$ を推定したい

$$\sum_{i=1}^n w_i\,(Y_i-\theta x_i)^2$$

を最小にする $\theta$ の値を $\hat\theta_w$ とする．ただし， $w_1,\ldots,w_n$ は正の定数である． $\hat\theta_w$ を求めよ．

(6) 設問 (5) の $\hat\theta_w$ の期待値 $E(\hat\theta_w)$ と分散 $V(\hat\theta_w)$ を求めよ．

(7) 設問 (5) の $\hat\theta_w$ に対して， $E\!\left((\hat\theta_w-\theta)^2\right)$ を最小にする $w_1,\ldots,w_n$ の値を求めよ．また，そのときの $\hat\theta_w$ を求めよ．

---

問題2

$X,Y$ を実数値確率変数とし，その累積分布関数をそれぞれ $F_X(x)=P(X\le x)$ ， $F_Y(y)=P(Y\le y)$ ，確率密度関数を $f_X(x), f_Y(y)$ とする．ただし実数 $a<b$ に対して $F_X(a)<F_X(b)$ および $F_Y(a)<F_Y(b)$ とする．また， $X$ と $Y$ の同時累積分布関数を $F(x,y)=P(X\le x,\ Y\le y)$ ，同時確率密度関数を $f(x,y)$ とする．以下の設問に答えなさい．

(1) $X$ をそれ自身の累積分布関数に代入して得られる $U=F_X(X)$ を考える． $U$ は $[0,1]$ の範囲で定められる一様分布にしたがう確率変数であることを示せ．

(2) $U$ および $V$ を $[0,1]$ の範囲の一様分布にしたがう確率変数とする．確率変数 $U,V$ の同時累積分布関数を $C(u,v)\ (0\le u\le 1,\ 0\le v\le 1)$ とする．対応する同時密度関数を

$$c(u,v)=\frac{\partial^2 C(u,v)}{\partial u\,\partial v}$$

とする．確率変数 $X$ と $Y$ に対して，ある $C$ が存在して

$$F(x,y)=C\!\big(F_X(x),\,F_Y(y)\big)$$

と表せることが知られている．このとき $C$ を $(X,Y)$ のコピュラと呼び，対応する同時密度関数 $c$ をコピュラ密度関数と呼ぶ． 上式を用いて $X$ と $Y$ の同時確率密度関数 $f(x,y)$ を， $(X,Y)$ のコピュラ $C$ に対応するコピュラ密度関数 $c$ ，および $F_X(x),F_Y(y),f_X(x),f_Y(y)$ を用いて表せ．

(3) $X$ と $Y$ の同時累積分布関数が

$$F(x,y)=\frac{1}{1+e^{-x}+e^{-y}}$$

で与えられるとする． $(X,Y)$ のコピュラ $C$ に対応するコピュラ密度関数 $c(u,v)$ を求めよ．

题目描述

以下以 $P(A)$ 表示事件 $A$ 的概率，以 $E(X)$、$V(X)$ 分别表示随机变量 $X$ 的期望和方差，并以 $e$ 表示自然对数的底。回答以下两题。

1. 某一天，商店 $i$ 的顾客数 $Y_i$（$i=1,\ldots,n$）相互独立，并服从 Poisson 分布 $\operatorname{Po}(\lambda_i)$，其中 $\lambda_i>0$ 是未知参数。参数 $\lambda>0$ 的 Poisson 分布概率质量函数为

$$f(y;\lambda) =\frac{\lambda^y e^{-\lambda}}{y!}, \qquad y=0,1,\ldots.$$

1. 用观测 $Y_1,\ldots,Y_n$ 求 $\lambda_1,\ldots,\lambda_n$ 的最大似然估计量 $\widehat{\lambda}_1,\ldots,\widehat{\lambda}_n$。
2. 若 $Y\sim\operatorname{Po}(\lambda)$，求 $E(Y)$ 和 $V(Y)$。

已知商店越大，顾客数往往越多。以正常数 $x_i$ 表示商店 $i$ 的面积，并采用模型

$$\lambda_i=\theta x_i, \qquad i=1,\ldots,n,$$

其中 $\theta>0$ 是未知参数。

3. 用 $Y_1,\ldots,Y_n$ 求 $\theta$ 的最大似然估计量 $\widehat{\theta}$。
4. 求上一小问中 $\widehat{\theta}$ 的 $E(\widehat{\theta})$ 和 $V(\widehat{\theta})$。
5. 改用加权最小二乘法估计 $\theta$。给定正常数 $w_1,\ldots,w_n$，令 $\widehat{\theta}_w$ 为使

$$\sum_{i=1}^n w_i(Y_i-\theta x_i)^2$$

最小的 $\theta$，求 $\widehat{\theta}_w$。 6. 求 $E(\widehat{\theta}_w)$ 和 $V(\widehat{\theta}_w)$。 7. 对第 5 小问的 $\widehat{\theta}_w$，求使均方误差

$$E\!\left[(\widehat{\theta}_w-\theta)^2\right]$$

最小的权重 $w_1,\ldots,w_n$，并求此时的 $\widehat{\theta}_w$。

2. 设 $X,Y$ 是实值随机变量，其边缘分布函数和边缘密度分别为

$$F_X(x)=P(X\leq x),\qquad F_Y(y)=P(Y\leq y),$$

以及 $f_X(x),f_Y(y)$。假设对任意实数 $a<b$ 都有

$$F_X(a)<F_X(b), \qquad F_Y(a)<F_Y(b).$$

记联合分布函数和联合密度为

$$F(x,y)=P(X\leq x,\ Y\leq y), \qquad f(x,y).$$

1. 定义 $U=F_X(X)$。证明 $U$ 服从区间 $[0,1]$ 上的均匀分布。
2. 设 $U,V$ 各自服从 $[0,1]$ 上的均匀分布，它们的联合分布函数为

$$C(u,v), \qquad 0\leq u\leq1,\quad0\leq v\leq1,$$

相应联合密度为

$$c(u,v) =\frac{\partial^2C(u,v)} {\partial u\,\partial v}.$$

已知对 $X,Y$ 存在某个 $C$ 使

$$F(x,y) =C\!\left(F_X(x),F_Y(y)\right).$$

称 $C$ 为 $(X,Y)$ 的 Copula，称 $c$ 为 Copula 密度。利用该等式，用 $c$、$F_X(x)$、$F_Y(y)$、$f_X(x)$ 和 $f_Y(y)$ 表示联合密度 $f(x,y)$。 3. 若联合分布函数为

$$F(x,y) =\frac{1}{1+e^{-x}+e^{-y}},$$

求 $(X,Y)$ 的 Copula 所对应的密度 $c(u,v)$。

Kai

問題1

(1)

定数項を除く対数尤度は $\ell=\sum_i(Y_i\log\lambda_i-\lambda_i)$ である。$Y_i>0$ なら、各項の微分は $Y_i/\lambda_i-1$ で符号が正から負に変わるので $\hat\lambda_i=Y_i$ となる。$Y_i=0$ なら $\lambda_i>0$ 上に最大点はなく、$\lambda_i\downarrow0$ で上限に近づく。

(2)

確率母関数は $E[z^Y]=e^{\lambda(z-1)}$ である。$z=1$ での1階、2階微分から

$$E[Y]=\lambda,\quad E[Y(Y-1)]=\lambda^2, \qquad \boxed{V[Y]=\lambda}.$$

(3)

$S=\sum_iY_i$、$X=\sum_i x_i$ とおく。対数尤度の微分は $S/\theta-X$ だから、$S>0$ なら $\hat\theta=S/X$ である。$S=0$ なら $\theta>0$ 上に最大点はない。パラメータ空間を閉包 $\theta\ge0$ に拡張すれば、すべての標本について

$$\boxed{\hat\theta=\frac{\sum_iY_i}{\sum_i x_i}}$$

と定義できる。

(4)

(3) の式を $S=0$ で $0$ と定めた推定量について、独立性から

$$E[\hat\theta]=\frac{\sum_i\theta x_i}{X}=\theta, \qquad V[\hat\theta]=\frac{\sum_i\theta x_i}{X^2} =\boxed{\frac\theta X}.$$

(5)

目的関数を微分すると $-2\sum_iw_ix_i(Y_i-\theta x_i)$ となる。2階微分は $2\sum_iw_ix_i^2>0$ なので、制約なしの一意な最小化解は

$$\boxed{\hat\theta_w=\frac{\sum_iw_ix_iY_i}{\sum_iw_ix_i^2}}.$$

$\theta>0$ に制限した場合、全観測値が $0$ なら最小点は存在せず、$\theta\downarrow0$ で下限に近づく。以下ではこの場合の推定量を $0$ と定める。

(6)

$$E[\hat\theta_w]=\theta, \qquad \boxed{V[\hat\theta_w]= \theta\frac{\sum_iw_i^2x_i^3}{(\sum_iw_ix_i^2)^2}}.$$

(7)

不偏性から均方誤差は分散に等しい。Cauchy–Schwarz の不等式より

$$\left(\sum_iw_ix_i^2\right)^2 \le\left(\sum_iw_i^2x_i^3\right)\left(\sum_i x_i\right).$$

従って均方誤差の最小値は $\theta/\sum_i x_i$ であり、等号条件は

$$\boxed{w_i=\frac{c}{x_i}\quad(c>0)}.$$

このとき $\hat\theta_w=\sum_iY_i/\sum_i x_i$ となる。

問題2

(1)

密度の存在により $F_X$ は連続であり、仮定により厳密に増加する。$0<u<1$ に対して、

$$P(U\le u)=P(X\le F_X^{-1}(u))=F_X(F_X^{-1}(u))=u.$$

端点でも $P(U\le0)=0$、$P(U\le1)=1$ だから、$U$ は一様分布に従う。

(2)

連鎖律により、

$$\boxed{f(x,y)=c(F_X(x),F_Y(y))f_X(x)f_Y(y)}.$$

(3)

一方の変数を $+\infty$ にすると、$F_X(x)=1/(1+e^{-x})$、$F_Y(y)=1/(1+e^{-y})$ である。従って $e^{-x}=(1-u)/u$、$e^{-y}=(1-v)/v$ を代入し、

$$C(u,v)=\frac{uv}{u+v-uv}.$$

$u,v$ でそれぞれ微分すると

$$\boxed{c(u,v)=\frac{2uv}{(u+v-uv)^3}},\qquad 0<u,v<1.$$