【統計検定1級過去問】2015年（統計数理）大問3

[math]
\mathbf{y}=\beta_0+\beta_1 \mathbf{x_1}+\beta_2 \mathbf{x_2}+\mathbf{\epsilon}
[/math]

を考える。ここで[math]\mathbf{y},\ \mathbf{x_1},\ \mathbf{x_2}\in \mathbb{R}^n[/math]であり、

• 標本平均はともに[math]0[/math]、つまり[math]\mathbf{e}^T\mathbf{x_1}=\mathbf{e}^T\mathbf{x_2}=0 [/math]
• [math]E[\epsilon_i]=0[/math]
• [math]Cov[\epsilon_i,\ \epsilon_j]=\sigma^2\delta_{ij}[/math]
• [math]r_{12}[/math]: [math]\mathbf{x_1}[/math]と[math]\mathbf{x_2}[/math]の相関係数で[math]|r_{12}|<1[/math]
• [math]r_{ky}[/math]: [math]\mathbf{x_k}[/math]と[math]\mathbf{y}[/math]の相関係数
• [math]S_{ki}=\mathbf{x_k}^T\mathbf{x_l}[/math]
• [math]S_{ky}=\mathbf{x_k}^T\mathbf{y}[/math]

とする。ここで[math]\mathbf{e}=(1\ 1\ \dots 1)^T\in\mathbb{R}^n[/math], [math]\delta_{ij}=\begin{cases}1 &(i=j) \\ 0 &(i\ne j)\end{cases}[/math]である。この時、以下の問に答えよ。

1. 最小二乗推定量[math]\hat{\beta}_i(i=0,1,2)[/math]の満たす正規方程式を与えよ。さらに[math]\hat{\beta}_1,\ \hat{\beta}_2[/math]を求めよ。
2. [math]r_{12}, r_{ky}[/math]を用いて[math]\hat{\beta}_1<0[/math]となるための必要十分条件を求めよ。さらに[math]r_{1y}>0,\ r_{2y}>0[/math]の時に[math]\hat{\beta}_1<0[/math]となるのはどのような場合か説明せよ。
3. [math]\hat{\beta}_1,\ \hat{\beta}_2[/math]を[math]S_{11},\ S_{22},\ S_{12},\ \sigma^2[/math]を用いて表せ。さらに[math]r_{12}=0[/math]と[math]r_{12}\ne 0[/math]の場合を比較し[math]V[\hat{\beta}_1][/math], [math]V[\hat{\beta}_2][/math]がどのように変化するか述べよ。
4. [math]\mathbf{x_1}[/math]のみを説明変数とする単回帰モデルを考える。この時、最小二乗推定量[math]\tilde{\beta}_1=\dfrac{S_{1y}}{S_{11}}[/math]で与えられる。[math]V[\hat{\beta}_1]-V[\tilde{\beta}_1][/math]を求め、[math]r_{12}[/math]のどのような関数か示せ。さらに[math]E[\tilde{\beta}_1][/math]を求め[math]\hat{\beta}_1,\ \tilde{\beta}_1[/math]のそれぞれ平均二乗誤差（MSE）を求め、大小を比較せよ。