データマイニング」カテゴリーアーカイブ

ガウス・マルコフの定理:重回帰モデルでの証明

今までは学習データ[math](x_{i,1},\ x_{i,2},\dots,\ x_{i,P},\ y_i)[/math]に確率的な仮定を置かず回帰超平面の当てはめを考えましたが、ここからは確率的な誤差項を含むモデル… 続きを読む »


重回帰モデルと決定係数の関係

重回帰モデルでも単回帰モデルと同様に決定係数[math]D[/math]と相関係数[math]\rho[/math]の関係 [math] 
D = \rho^2 [/math] を導くことができます。 重回帰モデル 重回… 続きを読む »


幾何学でみる重回帰の性質

重回帰の各種性質の多くは行列、ベクトル計算で示すことできます。ただ、計算手順だけを追っても性質が成立する「仕組み」や「背景」を理解しづらいです。ここでは重回帰を幾何的に解釈しながら基本的な性質として 射影による回帰係数の… 続きを読む »


重回帰の考え方と基本的な性質

単回帰では説明変数が1つでしたが、説明変数を複数に拡張したモデルが重回帰(multiple linear regression)です。ここでは重回帰の考え方と基本的な性質として 回帰係数の導出 回帰超平面の性質 計算量 … 続きを読む »


単回帰モデルの予測区間

誤差項が独立同一な正規分布に従う場合、「単回帰係数が従う確率分布」の結果から予測区間(Prediction Interval)を構成することができます。 よく「信頼区間」と混同されるので違いに注意しながら説明していきます… 続きを読む »


単回帰モデルの信頼区間

誤差項が独立同一な正規分布に従う場合、「単回帰係数が従う確率分布」の結果から信頼区間(Confidence Interval)を構成することができます。 信頼区間の意味や解釈の仕方、予測区間との違いがややこしく誤解しやす… 続きを読む »


単回帰係数の確率分布と有意性検定

誤差項が独立同一な正規分布に従う場合、最小二乗推定量[math]\hat{\beta}_0, \hat{\beta}_1[/math]が従う確率分布を求めることができます。ここでは [math]\hat{\beta}_0… 続きを読む »


単回帰モデルの最尤推定量

ここからは誤差項が正規分布に従うモデルを考えます。 [math] Y_i = \beta_0 + \beta_1 x_i + \varepsilon_i,\ \varepsilon_i \sim \mathcal{N}(… 続きを読む »


ガウス・マルコフの定理:単回帰モデルでの証明

今までは学習データ[math](x_i,\ y_i)[/math]に確率的な仮定を置かず回帰直線の当てはめを考えましたが、ここからは確率的な誤差項を含むモデルを考えます。 [math] Y_i = \beta_0 + \… 続きを読む »


単回帰モデル構築時の外れ値の影響

単回帰は学習データに外れ値があると 外れ値への当てはまりを優先し他のデータの当てはまりをほぼ無視する ことが知られています。ここでは実例を通して外れ値がどのような影響を与えるかを確認しで外れ値が与える影響を理論的に解析し… 続きを読む »