単回帰モデルと決定係数の関係

「単回帰の考え方と基本的な性質」に続き学習データへの当てはまりの良さを表す「決定係数」を紹介し、単回帰モデルでの決定係数と相関係数の関係を導きます。

決定係数

決定係数（coefficient of determination）とは機械学習モデルが学習データにどれだけ当てはまっているかを評価する指標です。

• 学習データ: $(x_i, y_i),\ i=1,2,\dots,N$
• モデルの予測値: $\hat{y}_i,\ i=1,2,\dots,N$

として決定係数$D$は

$\displaystyle D := 1 – \dfrac{\sum_{i=1}^N (y_i – \hat{y}_i)^2}{\sum_{i=1}^N (y_i – \bar{y})^2}$

で与えられます。ここで$\bar{y}=\frac{1}{N}\sum_{i}y_i$です。

決定係数の意味ですが

$i$番目のデータ$(x_i, y_i)$およびその予測値$(x_i, \hat{y}_i)$に着目します。

• 全変動: $y_i$と平均$\bar{y}$との差
• 残差変動: $y_i$と予測値$\hat{y}_i$との差

と呼びます。決定係数は「全変動の平方和」に対する「残差変動の平方和」の割合を1から引いた値になります。予測値が学習データに近い、つまりモデルが学習データによく当てはまっている場合に決定係数は1に近くなります。

決定係数の性質

決定係数の性質として以下を示すことができます。

1. 定義より自明です。
2. $D=1$と「残差変動の平方和が0」つまり「$\hat{y}_i=y_i$」と同値のため成立します。
3. 平均値で予測するモデル（上の図で回帰直線が$y=\bar{y}$の場合）の「残差変動」は「全変動」と一致するので$D=0$になります。
4. ある予測値$\hat{y}_i$を$\hat{y}_i\to\infty$とすると$D\to -\infty$なので十分大きな$\hat{y}_i$があると$D$は負の値をとることがあります。

性質1〜3から「平均値で予測するモデル」や「完全に学習データを説明できるモデル」と比べモデルがどれくらい学習データを当てはめられているかを評価できます。

モデルの評価指標としてよく使われますが、この記事で紹介したように外れ値があると当てはまっていないように見えるモデルでも決定係数が高くなるため鵜呑みにせず当てはまり結果を可視化して確認することをオススメします。

また、決定係数を表す文字としてよく$R^2$が用いられ決定係数が常に0以上の値をとるように見えますが、性質4から一般のモデルに対しては負の値をとることがあります。

単回帰モデルでの決定係数と相関係数の関係

ここからはモデルが単回帰の場合を考えます。つまり

$y = 
\hat{\beta}_0 + 
\hat{\beta}_1 x$

で予測するモデルを考えます。ただし、$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$
, 
$\hat{\beta}_1 = \dfrac{S_{xy}}{S_{xx}}$で

• $\bar{x}=\frac{1}{N}\sum_{i}x_i$
• $\bar{y}=\frac{1}{N}\sum_{i}y_i$
• $S_{xx} = \sum_i (x_i – \bar{x})^2$
• $S_{yy} = \sum_i (y_i – \bar{y})^2$
• $S_{xy} = \sum_i (x_i – \bar{x})(y_i – \bar{y})$

です。

この時、出力データ$y_i$と入力データの予測値$\hat{y}_i$の相関係数$\rho$

$\rho = \dfrac{\sum_i \left(y_i – \bar{y}\right)\left(\hat{y}_i – \bar{\hat{y}}\right)}{\sqrt{\sum_i \left(y_i-\bar{y}\right)^2} \sqrt{\sum_i \left(\hat{y}_i-\bar{\hat{y}}\right)^2} }$

と決定係数$D$には次の関係が成立します。

単回帰モデルの予測値について成立する以下の性質を組合せて示します。

1. $\rho^2$と$S_{xx},\ S_{yy},\ S_{xy}$の関係
2. 全変動の平方和$S_{yy}$の分解
3. 決定係数$D$と$\rho^2$の関係

$\rho^2$と$S_{xx},\ S_{yy},\ S_{xy}$の関係

まず、単回帰モデルの基本的な性質で触れたように予測値の平均$\bar{\hat{y}}$は目的変数の平均$\bar{y}$と一致します。これより

$\begin{eqnarray} \hat{y}_i – \bar{\hat{y}} &=& 
\hat{y}_i – \bar{y} \\ &=& \hat{\beta}_1(x_i – \bar{x}) \end{eqnarray}$

と書けることに注意すると$\rho^2$は

$\begin{eqnarray} 
\rho^2 &=& \dfrac{\left\{\sum_i \left(y_i – \bar{y}\right)\left(\hat{y}_i – \bar{\hat{y}}\right)\right\}^2}{\sum_i \left(y_i-\bar{y}\right)^2 \sum_i \left(\hat{y}_i-\bar{\hat{y}}\right)^2 } \\ &=& \dfrac{\hat{\beta}_1^2 \left\{\sum_i \left(y_i – \bar{y}\right)(x_i – \bar{x}) \right\}^2 }{S_{yy}\cdot \hat{\beta}_1^2 \sum_i \left(x_i-\bar{x}\right)^2} \\ &=& \dfrac{S_{xy}^2}{S_{xx}S_{yy}} \end{eqnarray}$

と書けます。

全変動の平方和$S_{yy}$の分解

次に決定係数$D$を整理していきます。まず次の補題を示します。

第三項の$\hat{y}_i – \bar{\hat{y}}$を回帰変動と呼びます。この補題は単回帰モデルでは

「全変動の平方和$S_{yy}$」を「残差変動の平方和$S_e$」と「回帰変動の平方和$S_{\hat{y}\hat{y}}$」に分解

できることを示しています。

証明は全変動を$y_i – \bar{y} = y_i – \hat{y}_i + (\hat{y}_i – \bar{\hat{y}})$とみると

$\begin{eqnarray} 
&& \sum_{i=1}^N (y_i – \bar{y})^2 \\ &=& S_e + 2\sum_{i=1}^N (y_i – \hat{y}_i)(\hat{y}_i – \bar{\hat{y}}) + S_{\hat{y}\hat{y}} \end{eqnarray}$

となります。第二項は$\hat{y}_i = \bar{y} + \hat{\beta}_1(x_i – \bar{x})$および$\hat{\beta}_1 = \dfrac{S_{xy}}{S_{xx}}$より

$\begin{eqnarray} 
&& \sum_{i=1}^N \left(y_i – \hat{y}_i\right)\left(\hat{y}_i – \bar{\hat{y}}\right) \\ &=& \sum_{i=1}^N \left(y_i – \bar{y} + \hat{\beta}_1(x_i – \bar{x})\right)\cdot \hat{\beta}_1(x_i – \bar{x}) \\ &=& \hat{\beta}_1 S_{xy} – \hat{\beta}_1^2S_{xx} \\ &=& \dfrac{S_{xy}}{S_{xx}}S_{xy} – \dfrac{S_{xy}^2}{S_{xx}^2}S_{xx} \\ &=& 0 \end{eqnarray}$

と消えるので補題が成立します。

決定係数$D$と$\rho^2$の関係

それでは決定係数$D=1-\dfrac{S_e}{S_{yy}}$を整理していきましょう。$S_{yy} = S_e + S_{\hat{y}\hat{y}}$なので

$\begin{eqnarray} 
D &=& 1 – \dfrac{S_e}{S_{yy}} \\ &=& \dfrac{S_{yy}-S_e}{S_{yy}} \\ &=& \dfrac{S_{\hat{y}\hat{y}}}{S_{yy}} \end{eqnarray}$

と変形でき$\hat{y}_i – \bar{y} = \hat{\beta}_1(x_i – \bar{x})$より$S_{\hat{y}\hat{y}}=\hat{\beta}_1^2S_{xx}$なので

$\begin{eqnarray} 
&=& \hat{\beta}_1^2\dfrac{S_{xx}}{S_{yy}} \\ &=& \dfrac{S_{xy}^2}{S_{xx}^2}\dfrac{S_{xx}}{S_{yy}} \\ &=& \dfrac{S_{xy}^2}{S_{xx}S_{yy}} \\ &=& \rho^2 \end{eqnarray}$

が成立します。

この結果から単回帰の決定係数は$D=\rho^2 \geq 0$が保証され「平均値で予測するモデル」と比べ（決定係数の意味で）当てはまりの良いモデルと言えます。

シリーズ記事

「機械学習」の「教師あり学習手法」の中で最も基本的な手法として「単回帰」の性質を紹介しています。

誤差項について「無相関で分散一定」「独立同一な正規分布」を仮定するとで様々な性質を導くことができますが、ここでは誤差項について特に仮定せずに導ける性質として

• 考え方と基本的な性質: 回帰係数の導出、回帰直線の性質、計算量との関係
• 決定係数（本記事）: 決定係数と相関係数の関係
• 予測の留意点: 学習データ外の値や外れ値で予測する場合の留意点と対処法
• 外れ値の影響: 外れ値が学習時に与える影響

を解説しています。

また単回帰を拡張した「重回帰」でも同様の性質を示せるのでそちらも参照ください。