コメント
大問3は重回帰モデルの最小二乗推定量に関する問題が出題されました。
相関係数との関連や推定量の分散など教科書で登場する内容なので重回帰分析を勉強してきた人には難しくないと思います。ただ、問題量が多く時間内に完答するのは意外と大変な問題セットだと思います。
問題
[math]
\mathbf{y}=\beta_0+\beta_1 \mathbf{x_1}+\beta_2 \mathbf{x_2}+\mathbf{\epsilon}
[/math]
を考える。ここで[math]\mathbf{y},\ \mathbf{x_1},\ \mathbf{x_2}\in \mathbb{R}^n[/math]であり、
- 標本平均はともに[math]0[/math]、つまり[math]\mathbf{e}^T\mathbf{x_1}=\mathbf{e}^T\mathbf{x_2}=0 [/math]
- [math]E[\epsilon_i]=0[/math]
- [math]Cov[\epsilon_i,\ \epsilon_j]=\sigma^2\delta_{ij}[/math]
- [math]r_{12}[/math]: [math]\mathbf{x_1}[/math]と[math]\mathbf{x_2}[/math]の相関係数で[math]|r_{12}|<1[/math]
- [math]r_{ky}[/math]: [math]\mathbf{x_k}[/math]と[math]\mathbf{y}[/math]の相関係数
- [math]S_{ki}=\mathbf{x_k}^T\mathbf{x_l}[/math]
- [math]S_{ky}=\mathbf{x_k}^T\mathbf{y}[/math]
とする。ここで[math]\mathbf{e}=(1\ 1\ \dots 1)^T\in\mathbb{R}^n[/math], [math]\delta_{ij}=\begin{cases}1 &(i=j) \\ 0 &(i\ne j)\end{cases}[/math]である。この時、以下の問に答えよ。
（出典：「統計検定 1級・準1級 公式問題集」。問題文を一部略記。）
問1
[math]X=\left(\mathbf{e}\ \mathbf{x_1}\ \mathbf{x_2}\right)[/math]とおくと正規方程式は
[math]
X^TX\begin{pmatrix}\hat{\beta}_0 \\ \hat{\beta}_1 \\ \hat{\beta}_2\end{pmatrix}=X^T\mathbf{y}
[/math]
で与えられる。
[math]
X^TX=\begin{pmatrix}
n &0 &0 \\
0 &S_{11} &S_{12} \\
0 &S_{21} &S_{22}
\end{pmatrix}
[/math]
および
[math]
X^T\mathbf{y}=\begin{pmatrix}\mathbf{e}^T\mathbf{y} \\ S_{1y} \\ S_{2y}\end{pmatrix}
[/math]
なので
[math]
\begin{pmatrix}
S_{11} &S_{12} \\
S_{21} &S_{22}
\end{pmatrix}
\begin{pmatrix}
\hat{\beta}_1 \\ \hat{\beta}_2
\end{pmatrix}
= \begin{pmatrix}
S_{1y} \\ S_{2y}
\end{pmatrix}
[/math]
を解いて
[math]
\begin{eqnarray}
\hat{\beta}_1 &=& \dfrac{S_{22}S_{1y}-S_{12}S_{2y}}{S_{11}S_{22}-S_{12}^2} \\
\hat{\beta}_2 &=& \dfrac{-S_{12}S_{1y}+S_{11}S_{2y}}{S_{11}S_{22}-S_{12}^2} \\
\end{eqnarray}
[/math]
を得る。
問2
[math]S_{yy}=\sum_{i=1}^n(y_i-\bar{y})^2,\ \bar{y}=\frac{\mathbf{e}^T\mathbf{y}}{n}[/math]とおくと[math]r_{12}=\frac{S_{12}}{\sqrt{S_{11}S_{22}}}[/math], [math]r_{1y}=\frac{S_{1y}}{\sqrt{S_{11}S_{yy}}}[/math], [math]r_{2y}=\frac{S_{2y}}{\sqrt{S_{22}S_{yy}}}[/math]なので[math]\hat{\beta}_1[/math]から[math]S_{12}, S_{1y},
S_{2y}[/math]を消去して整理すると
[math]
\hat{\beta}_1=\sqrt{\dfrac{S_{yy}}{S_{11}}}\dfrac{r_{1y}-r_{12}r_{2y}}{1-r_{12}^2}
[/math]
を得る。分母は[math]|r_{12}|<1[/math]より常に正なので[math]\hat{\beta}_1<0[/math]となるための必要十分条件は[math]r_{1y}-r_{12}r_{2y}<0[/math]である。[math]r_{1y}>0,\ r_{2y}>0[/math]の場合を考えると[math]r_{1y} < r_{2y}[/math]であり[math]r_{12}\approx 1[/math]の時、[math]r_{1y}-r_{12}r_{2y}<0[/math]が成立し[math]\hat{\beta}_1<0[/math]となる。
問3
[math]V[\hat{\beta}_1],\ V[\hat{\beta}_2][/math]は分散共分散行列[math]\sigma^2 \left(X^TX\right)^{-1}[/math]の第2, 3対角成分なので
[math]
\begin{eqnarray}
V[\hat{\beta}_1] &=& \dfrac{\sigma^2 S_{22}}{S_{11}S_{22}-S_{12}^2} \\
V[\hat{\beta}_2] &=& \dfrac{\sigma^2 S_{11}}{S_{11}S_{22}-S_{12}^2} \\
\end{eqnarray}
[/math]
である。ここで[math]r_{12}[/math]を用いて表現すると
[math]
\begin{eqnarray}
V[\hat{\beta}_1] &=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1-r_{12}^2} \\
V[\hat{\beta}_2] &=& \dfrac{\sigma^2}{S_{22}}\dfrac{1}{1-r_{12}^2} \\
\end{eqnarray}
[/math]
であり、[math]\frac{1}{1-r_{12}^2}[/math]は[math]r_{12}=0[/math]の時が最小で[math]|r_{12}|[/math]が[math]1[/math]に近づくにつれ大きくなるので[math]r_{12}=0[/math]の時の分散[math]V[\hat{\beta}_1], V[\hat{\beta}_2][/math]が最小で[math]|r_{12}|[/math]が[math]1[/math]に近づくにつれ分散は大きくなる。
問4
[math]V[y_i]=\sigma^2[/math]より
[math]
\begin{eqnarray}
V[\tilde{\beta}_1] &=& \dfrac{1}{S_{11}^2}\sum_{i=1}^n x_{1i}^2V\left[y_i\right] \\
&=& \dfrac{\sigma^2}{S_{11}^2}\sum_{i=1}^n x_{1i}^2 \\
&=& \dfrac{\sigma^2}{S_{11}}
\end{eqnarray}
[/math]
なので
[math]
\begin{eqnarray}
&&V[\hat{\beta}_1]-V[\tilde{\beta}_1] \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1-r_{12}^2} – \dfrac{\sigma^2}{S_{11}} \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1/r_{12}^2-1}
\end{eqnarray}
[/math]
となり、[math]r_{12}^2[/math]の増加関数である。
次に
[math]
\begin{eqnarray}
&& E[\tilde{\beta}_1] \\
&=& \dfrac{1}{S_{11}}E\left[S_{1y}\right] \\
&=& \dfrac{1}{S_{11}} \mathbf{x_1}^T(\beta_0\mathbf{e}+\beta_1\mathbf{x_1}+\beta_2\mathbf{x_2}) \\
&=& \dfrac{1}{S_{11}}(\beta_1 S_{11} + \beta_2 S_{12})\\
&=& \beta_1 + \beta_2\dfrac{S_{12}}{S_{11}}
\end{eqnarray}
[/math]
である。これより[math]\tilde{\beta}_1[/math]のMSEを求めると
[math]
\begin{eqnarray}
&& MSE[\tilde{\beta}_1] \\
&=& E[(\tilde{\beta}_1 – \beta_1)^2] \\
&=& E\left[\left(\tilde{\beta}_1 – E[\tilde{\beta}_1] – (\beta_1-E[\tilde{\beta}_1])\right)^2\right] \\
&=& V[\tilde{\beta}_1] + E\left[(\beta_1-E[\tilde{\beta}_1])^2\right] \\
&=& \dfrac{\sigma^2}{S_{11}} + \beta_2^2\left(\dfrac{S_{12}}{S_{11}}\right)^2
\end{eqnarray}
[/math]
である。
最小二乗推定量[math]\hat{\beta}_1[/math]は[math]\beta_1[/math]の不偏推定量なので
[math]
\begin{eqnarray}
MSE[\hat{\beta}_1] &=& V[\hat{\beta}_1] \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1-r_{12}^2}
\end{eqnarray}
[/math]
である。これより
[math]
\begin{eqnarray}
&& MSE[\hat{\beta}_1]-MSE[\tilde{\beta}_1] \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{r_{12}^2}{1-r_{12}^2} – \beta_2^2\left(\dfrac{S_{12}}{S_{11}}\right)^2\\
&=& \left(\dfrac{S_{12}}{S_{11}}\right)^2\left( \dfrac{\sigma^2 S_{11}}{S_{12}^2}\dfrac{r_{12}^2}{1-r_{12}^2}-\beta_2^2\right)
\end{eqnarray}
[/math]
であり[math]r_{12}=\frac{S_{12}}{\sqrt{S_{11}S_{22}}}[/math]なので
[math]
\dfrac{r_{12}^2}{1-r_{12}^2}=\dfrac{S_{12}^2}{S_{11}S_{22}(1-r_{12}^2)}
[/math]
に注意すると
[math]
\begin{eqnarray}
&&\left(\dfrac{S_{12}}{S_{11}}\right)^2\left( \dfrac{\sigma^2 S_{11}}{S_{12}^2}\dfrac{r_{12}^2}{1-r_{12}^2}-\beta_2^2\right)\\
&=& \left(\dfrac{S_{12}}{S_{11}}\right)^2 \left( \dfrac{\sigma^2 }{S_{22}}\dfrac{1}{1-r_{12}^2}-\beta_2^2\right)\\
&=& \left(\dfrac{S_{12}}{S_{11}}\right)^2\left(V[\hat{\beta_2}]-\beta_2^2\right)
\end{eqnarray}
[/math]
を得る。以上より[math]MSE[\hat{\beta}_1],\ MSE[\tilde{\beta}_1][/math]の大小は[math]V[\hat{\beta_2}],\ \beta_2^2[/math]の大小と一致する。
シリーズ記事
- 過去問と解答例
- 2015年（統計数理）大問1
- 2015年（統計数理）大問1 解答例
- 2015年（統計数理）大問2
- 2015年（統計数理）大問2 解答例
- 2015年（統計数理）大問3
- 2015年（統計数理）大問3 解答例（本記事）
