【統計検定1級過去問】2015年（統計数理）大問3 解答例

投稿者: | 2017-08-27
0件のコメント

コメント

大問3は重回帰モデルの最小二乗推定量に関する問題が出題されました。

相関係数との関連や推定量の分散など教科書で登場する内容なので重回帰分析を勉強してきた人には難しくないと思います。ただ、問題量が多く時間内に完答するのは意外と大変な問題セットだと思います。

問題

重回帰モデル

[math]
\mathbf{y}=\beta_0+\beta_1 \mathbf{x_1}+\beta_2 \mathbf{x_2}+\mathbf{\epsilon}
[/math]

を考える。ここで[math]\mathbf{y},\ \mathbf{x_1},\ \mathbf{x_2}\in \mathbb{R}^n[/math]であり、

  • 標本平均はともに[math]0[/math]、つまり[math]\mathbf{e}^T\mathbf{x_1}=\mathbf{e}^T\mathbf{x_2}=0 [/math]
  • [math]E[\epsilon_i]=0[/math]
  • [math]Cov[\epsilon_i,\ \epsilon_j]=\sigma^2\delta_{ij}[/math]
  • [math]r_{12}[/math]: [math]\mathbf{x_1}[/math]と[math]\mathbf{x_2}[/math]の相関係数で[math]|r_{12}|<1[/math]
  • [math]r_{ky}[/math]: [math]\mathbf{x_k}[/math]と[math]\mathbf{y}[/math]の相関係数
  • [math]S_{ki}=\mathbf{x_k}^T\mathbf{x_l}[/math]
  • [math]S_{ky}=\mathbf{x_k}^T\mathbf{y}[/math]

とする。ここで[math]\mathbf{e}=(1\ 1\ \dots 1)^T\in\mathbb{R}^n[/math], [math]\delta_{ij}=\begin{cases}1 &(i=j) \\ 0 &(i\ne j)\end{cases}[/math]である。この時、以下の問に答えよ。

（出典：「統計検定 1級・準1級 公式問題集」。問題文を一部略記。）

問1

最小二乗推定量[math]\hat{\beta}_i(i=0,1,2)[/math]の満たす正規方程式を与えよ。さらに[math]\hat{\beta}_1,\ \hat{\beta}_2[/math]を求めよ。

[math]X=\left(\mathbf{e}\ \mathbf{x_1}\ \mathbf{x_2}\right)[/math]とおくと正規方程式は

[math]
X^TX\begin{pmatrix}\hat{\beta}_0 \\ \hat{\beta}_1 \\ \hat{\beta}_2\end{pmatrix}=X^T\mathbf{y}
[/math]

で与えられる。

[math]
X^TX=\begin{pmatrix}
n &0 &0 \\
0 &S_{11} &S_{12} \\
0 &S_{21} &S_{22}
\end{pmatrix}
[/math]

および

[math]
X^T\mathbf{y}=\begin{pmatrix}\mathbf{e}^T\mathbf{y} \\ S_{1y} \\ S_{2y}\end{pmatrix}
[/math]

なので

[math]
\begin{pmatrix}
S_{11} &S_{12} \\
S_{21} &S_{22}
\end{pmatrix}
\begin{pmatrix}
\hat{\beta}_1 \\ \hat{\beta}_2
\end{pmatrix}
= \begin{pmatrix}
S_{1y} \\ S_{2y}
\end{pmatrix}
[/math]

を解いて

[math]
\begin{eqnarray}
\hat{\beta}_1 &=& \dfrac{S_{22}S_{1y}-S_{12}S_{2y}}{S_{11}S_{22}-S_{12}^2} \\
\hat{\beta}_2 &=& \dfrac{-S_{12}S_{1y}+S_{11}S_{2y}}{S_{11}S_{22}-S_{12}^2} \\
\end{eqnarray}
[/math]

を得る。

問2

[math]r_{12}, r_{ky}[/math]を用いて[math]\hat{\beta}_1<0[/math]となるための必要十分条件を求めよ。さらに[math]r_{1y}>0,\ r_{2y}>0[/math]の時に[math]\hat{\beta}_1<0[/math]となるのはどのような場合か説明せよ。

[math]S_{yy}=\sum_{i=1}^n(y_i-\bar{y})^2,\ \bar{y}=\frac{\mathbf{e}^T\mathbf{y}}{n}[/math]とおくと[math]r_{12}=\frac{S_{12}}{\sqrt{S_{11}S_{22}}}[/math], [math]r_{1y}=\frac{S_{1y}}{\sqrt{S_{11}S_{yy}}}[/math], [math]r_{2y}=\frac{S_{2y}}{\sqrt{S_{22}S_{yy}}}[/math]なので[math]\hat{\beta}_1[/math]から[math]S_{12}, S_{1y},
S_{2y}[/math]を消去して整理すると

[math]
\hat{\beta}_1=\sqrt{\dfrac{S_{yy}}{S_{11}}}\dfrac{r_{1y}-r_{12}r_{2y}}{1-r_{12}^2}
[/math]

を得る。分母は[math]|r_{12}|<1[/math]より常に正なので[math]\hat{\beta}_1<0[/math]となるための必要十分条件は[math]r_{1y}-r_{12}r_{2y}<0[/math]である。[math]r_{1y}>0,\ r_{2y}>0[/math]の場合を考えると[math]r_{1y} < r_{2y}[/math]であり[math]r_{12}\approx 1[/math]の時、[math]r_{1y}-r_{12}r_{2y}<0[/math]が成立し[math]\hat{\beta}_1<0[/math]となる。

問3

[math]\hat{\beta}_1,\ \hat{\beta}_2[/math]を[math]S_{11},\ S_{22},\ S_{12},\ \sigma^2[/math]を用いて表せ。さらに[math]r_{12}=0[/math]と[math]r_{12}\ne 0[/math]の場合を比較し[math]V[\hat{\beta}_1][/math], [math]V[\hat{\beta}_2][/math]がどのように変化するか述べよ。

[math]V[\hat{\beta}_1],\ V[\hat{\beta}_2][/math]は分散共分散行列[math]\sigma^2 \left(X^TX\right)^{-1}[/math]の第2, 3対角成分なので

[math]
\begin{eqnarray}
V[\hat{\beta}_1] &=& \dfrac{\sigma^2 S_{22}}{S_{11}S_{22}-S_{12}^2} \\
V[\hat{\beta}_2] &=& \dfrac{\sigma^2 S_{11}}{S_{11}S_{22}-S_{12}^2} \\
\end{eqnarray}
[/math]

である。ここで[math]r_{12}[/math]を用いて表現すると

[math]
\begin{eqnarray}
V[\hat{\beta}_1] &=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1-r_{12}^2} \\
V[\hat{\beta}_2] &=& \dfrac{\sigma^2}{S_{22}}\dfrac{1}{1-r_{12}^2} \\
\end{eqnarray}
[/math]

であり、[math]\frac{1}{1-r_{12}^2}[/math]は[math]r_{12}=0[/math]の時が最小で[math]|r_{12}|[/math]が[math]1[/math]に近づくにつれ大きくなるので[math]r_{12}=0[/math]の時の分散[math]V[\hat{\beta}_1], V[\hat{\beta}_2][/math]が最小で[math]|r_{12}|[/math]が[math]1[/math]に近づくにつれ分散は大きくなる。

問4

[math]\mathbf{x_1}[/math]のみを説明変数とする単回帰モデルを考える。この時、最小二乗推定量[math]\tilde{\beta}_1=\dfrac{S_{1y}}{S_{11}}[/math]で与えられる。[math]V[\hat{\beta}_1]-V[\tilde{\beta}_1][/math]を求め、[math]r_{12}[/math]のどのような関数か示せ。さらに[math]E[\tilde{\beta}_1][/math]を求め[math]\hat{\beta}_1,\ \tilde{\beta}_1[/math]のそれぞれ平均二乗誤差（MSE）を求め、大小を比較せよ。

[math]V[y_i]=\sigma^2[/math]より

[math]
\begin{eqnarray}
V[\tilde{\beta}_1] &=& \dfrac{1}{S_{11}^2}\sum_{i=1}^n x_{1i}^2V\left[y_i\right] \\
&=& \dfrac{\sigma^2}{S_{11}^2}\sum_{i=1}^n x_{1i}^2 \\
&=& \dfrac{\sigma^2}{S_{11}}
\end{eqnarray}
[/math]

なので

[math]
\begin{eqnarray}
&&V[\hat{\beta}_1]-V[\tilde{\beta}_1] \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1-r_{12}^2} – \dfrac{\sigma^2}{S_{11}} \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1/r_{12}^2-1}
\end{eqnarray}
[/math]

となり、[math]r_{12}^2[/math]の増加関数である。

次に

[math]
\begin{eqnarray}
&& E[\tilde{\beta}_1] \\
&=& \dfrac{1}{S_{11}}E\left[S_{1y}\right] \\
&=& \dfrac{1}{S_{11}} \mathbf{x_1}^T(\beta_0\mathbf{e}+\beta_1\mathbf{x_1}+\beta_2\mathbf{x_2}) \\
&=& \dfrac{1}{S_{11}}(\beta_1 S_{11} + \beta_2 S_{12})\\
&=& \beta_1 + \beta_2\dfrac{S_{12}}{S_{11}}
\end{eqnarray}
[/math]

である。これより[math]\tilde{\beta}_1[/math]のMSEを求めると

[math]
\begin{eqnarray}
&& MSE[\tilde{\beta}_1] \\
&=& E[(\tilde{\beta}_1 – \beta_1)^2] \\
&=& E\left[\left(\tilde{\beta}_1 – E[\tilde{\beta}_1] – (\beta_1-E[\tilde{\beta}_1])\right)^2\right] \\
&=& V[\tilde{\beta}_1] + E\left[(\beta_1-E[\tilde{\beta}_1])^2\right] \\
&=& \dfrac{\sigma^2}{S_{11}} + \beta_2^2\left(\dfrac{S_{12}}{S_{11}}\right)^2
\end{eqnarray}
[/math]

である。

最小二乗推定量[math]\hat{\beta}_1[/math]は[math]\beta_1[/math]の不偏推定量なので

[math]
\begin{eqnarray}
MSE[\hat{\beta}_1] &=& V[\hat{\beta}_1] \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{1}{1-r_{12}^2}
\end{eqnarray}
[/math]

である。これより

[math]
\begin{eqnarray}
&& MSE[\hat{\beta}_1]-MSE[\tilde{\beta}_1] \\
&=& \dfrac{\sigma^2}{S_{11}}\dfrac{r_{12}^2}{1-r_{12}^2} – \beta_2^2\left(\dfrac{S_{12}}{S_{11}}\right)^2\\
&=& \left(\dfrac{S_{12}}{S_{11}}\right)^2\left( \dfrac{\sigma^2 S_{11}}{S_{12}^2}\dfrac{r_{12}^2}{1-r_{12}^2}-\beta_2^2\right)
\end{eqnarray}
[/math]

であり[math]r_{12}=\frac{S_{12}}{\sqrt{S_{11}S_{22}}}[/math]なので

[math]
\dfrac{r_{12}^2}{1-r_{12}^2}=\dfrac{S_{12}^2}{S_{11}S_{22}(1-r_{12}^2)}
[/math]

に注意すると

[math]
\begin{eqnarray}
&&\left(\dfrac{S_{12}}{S_{11}}\right)^2\left( \dfrac{\sigma^2 S_{11}}{S_{12}^2}\dfrac{r_{12}^2}{1-r_{12}^2}-\beta_2^2\right)\\
&=& \left(\dfrac{S_{12}}{S_{11}}\right)^2 \left( \dfrac{\sigma^2 }{S_{22}}\dfrac{1}{1-r_{12}^2}-\beta_2^2\right)\\
&=& \left(\dfrac{S_{12}}{S_{11}}\right)^2\left(V[\hat{\beta_2}]-\beta_2^2\right)
\end{eqnarray}
[/math]

を得る。以上より[math]MSE[\hat{\beta}_1],\ MSE[\tilde{\beta}_1][/math]の大小は[math]V[\hat{\beta_2}],\ \beta_2^2[/math]の大小と一致する。

シリーズ記事

スポンサーリンク

関連記事

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です