ガウス・マルコフの定理:重回帰モデルでの証明
今までは学習データ[math](x_{i,1},\ x_{i,2},\dots,\ x_{i,P},\ y_i)[/math]に確率的な仮定を置かず回帰超平面の当てはめを考えましたが、ここからは確率的な誤差項を含むモデル… 続きを読む »
今までは学習データ[math](x_{i,1},\ x_{i,2},\dots,\ x_{i,P},\ y_i)[/math]に確率的な仮定を置かず回帰超平面の当てはめを考えましたが、ここからは確率的な誤差項を含むモデル… 続きを読む »
重回帰モデルでも単回帰モデルと同様に決定係数[math]D[/math]と相関係数[math]\rho[/math]の関係 [math] D = \rho^2 [/math] を導くことができます。 重回帰モデル 重回… 続きを読む »
重回帰の各種性質の多くは行列、ベクトル計算で示すことできます。ただ、計算手順だけを追っても性質が成立する「仕組み」や「背景」を理解しづらいです。ここでは重回帰を幾何的に解釈しながら基本的な性質として 射影による回帰係数の… 続きを読む »
単回帰では説明変数が1つでしたが、説明変数を複数に拡張したモデルが重回帰(multiple linear regression)です。ここでは重回帰の考え方と基本的な性質として 回帰係数の導出 回帰超平面の性質 計算量 … 続きを読む »
誤差項が独立同一な正規分布に従う場合、「単回帰係数が従う確率分布」の結果から予測区間(Prediction Interval)を構成することができます。 よく「信頼区間」と混同されるので違いに注意しながら説明していきます… 続きを読む »
誤差項が独立同一な正規分布に従う場合、「単回帰係数が従う確率分布」の結果から信頼区間(Confidence Interval)を構成することができます。 信頼区間の意味や解釈の仕方、予測区間との違いがややこしく誤解しやす… 続きを読む »
誤差項が独立同一な正規分布に従う場合、最小二乗推定量[math]\hat{\beta}_0, \hat{\beta}_1[/math]が従う確率分布を求めることができます。ここでは [math]\hat{\beta}_0… 続きを読む »
ここからは誤差項が正規分布に従うモデルを考えます。 [math] Y_i = \beta_0 + \beta_1 x_i + \varepsilon_i,\ \varepsilon_i \sim \mathcal{N}(… 続きを読む »
今までは学習データ[math](x_i,\ y_i)[/math]に確率的な仮定を置かず回帰直線の当てはめを考えましたが、ここからは確率的な誤差項を含むモデルを考えます。 [math] Y_i = \beta_0 + \… 続きを読む »
単回帰は学習データに外れ値があると 外れ値への当てはまりを優先し他のデータの当てはまりをほぼ無視する ことが知られています。ここでは実例を通して外れ値がどのような影響を与えるかを確認しで外れ値が与える影響を理論的に解析し… 続きを読む »