【統計検定対策】一様最小分散不偏推定量

投稿者: | 2016-11-24

推定量の評価尺度

一様最小分散不偏推定量の定義に入る前に推定量の評価尺度について説明します。

ある分布のパラメータ[math]\theta[/math]の推定量[math]\hat{\theta}(X)[/math]の評価尺度として平均二乗誤差[math]E_\theta\left[\left(\hat{\theta}(X)-\theta\right)^2\right][/math]がよく用いられます。このとき、確率変数の平均周りのモーメントで展開するという定石に従い[math]\bar{\hat{\theta}}=E\left[\hat{\theta}\right][/math]とすると

[math]
\begin{eqnarray}
&& E_\theta\left[\left(\hat{\theta}(X)-\theta\right)^2\right] \\
&=& E_\theta\left[\left(\hat{\theta}(X)-\bar{\hat{\theta}}+\bar{\hat{\theta}}-\theta\right)^2\right] \\
&=& E\left[\left(\hat{\theta}(X)-\bar{\hat{\theta}}\right)^2\right] \\
&& \quad +2\left(\bar{\hat{\theta}}-\theta\right)E\left[\hat{\theta}(X)-\bar{\hat{\theta}}\right]
+\left(\bar{\hat{\theta}}-\theta\right)^2 \\
&=& V\left[\hat{\theta}(X)\right] + \left(\bar{\hat{\theta}}-\theta\right)^2
\end{eqnarray}
[/math]

となり、

平均二乗誤差 = 推定量[math]\theta(X)[/math]の分散 + パラメータ[math]\theta[/math]と推定量の平均値[math]E\left[\hat{\theta}(X)\right][/math]との差の二乗

となることが分かります。推定量が不偏推定量の場合、[math]E\left[\hat{\theta}\right]=\theta[/math]が成立するのでこの場合、

平均二乗誤差 = 推定量[math]\theta(X)[/math]の分散

が成立します。つまり、分散が最も小さくなる推定量が「良い」推定量と考えられます。一般に分散[math]V\left[\hat{\theta}(X)\right][/math]は[math]\theta[/math]の関数になるため任意の[math]\theta[/math]について分散が最小になる推定量が存在すれば「最も良い」推定量だと言えます。この「最も良い推定量」を定義したのが一様最小分散不偏推定量です。

定義

パラメータ[math]\theta[/math]の推定量[math]\hat{\theta}(X)[/math]を不偏推定量とする。このとき任意の不偏推定量[math]\tilde{\theta}(X)[/math]に対して

[math]V\left[\hat{\theta}(X)\right]\leq V\left[\tilde{\theta}(X)\right][/math] for all [math]\theta[/math]

が成立するとき推定量[math]\hat{\theta}(X)[/math]を一様最小分散不偏推定量(Uniform Minimum Variance Unbiased Estimator, UMVUE)と呼ぶ。

一様最小分散不偏推定量の問題

統計検定1級でも2016年(数理統計)大問1(4)で、ある推定量が一様最小分散不偏推定量かを判定する問題が出題されています。

一様最小分散不偏推定量になるかどうかの一般的な判定は難しいため以下の定石が使えるケースの問題がほとんどで、2016年の問題でもこの定石を知っていれば見通し良く解くことができます。(詳細は「2016年(統計数理)大問1の解答例」を参照ください。)

一様最小分散不偏推定量の定石([math]\theta(X)[/math]が[math]\theta[/math]の推定量の場合)

正則性(推定量の期待値計算における微分と積分の可換性)および推定量の分散の有限性を仮定すると以下のクラメール・ラオの不等式が成立することが知られています。

[math]X_1,\dots,X_n[/math]を確率密度関数[math]f(x|\theta)[/math]に従う確率変数とし、[math]\theta(X)[/math]をパラメータ[math]\theta[/math]の任意の不偏推定量とする。このとき以下の不等式が成立する。

[math]V\left[\theta(X)\right]\geq \dfrac{1}{E\left[\left(\dfrac{\partial}{\partial\theta}\log{f(X|\theta)}\right)^2\right]}[/math]

ポイントは右辺は推定量[math]\theta(X)[/math]に依存しないため、もし等号が成立する不偏推定量[math]\theta(X)[/math]が見つかればそれは一様最小分散不偏推定量であることが分かります。

クラメール・ラオの不等式において等号が成立するための必要十分条件が知られています。

[math]X_1,\dots,X_n[/math]を確率密度関数[math]f(x|\theta)[/math]に従う独立な確率変数とし、[math]\theta(X)[/math]を任意の推定量とする。このとき、クラメール・ラオの不等式の等号が成立する必要十分条件は関数[math]a(\theta)[/math]が存在して以下が成立することである。

[math]a(\theta)\left(\theta(X)-\theta\right)=\dfrac{\partial}{\partial\theta}\log{f(X|\theta)}[/math]

この条件式が成立しているならばその推定量が

  • 不偏推定量であること
  • クラメール・ラオの下限を実現すること

を示すことで一様最小分散不偏推定量であることを示せます。

一様最小分散不偏推定量の定石([math]\theta(X)[/math]が[math]\tau(\theta)[/math]の推定量の場合)

推定量[math]\theta(X)[/math]が一般の[math]\tau(\theta)[/math](例えば[math]\frac{1}{\theta}[/math])の場合も同様の不等式を示すことができます。

[math]X_1,\dots,X_n[/math]を確率密度関数[math]f(x|\theta)[/math]に従う確率変数とし、[math]\theta(X)[/math]をパラメータ[math]\tau(\theta)[/math]の任意の推定量とする。このとき以下の不等式が成立する。

[math]V\left[\theta(X)\right]\geq \dfrac{\left(\dfrac{d}{d\theta}E\left[\theta(X)\right]\right)^2}{E\left[\left(\dfrac{\partial}{\partial\theta}\log{f(X|\theta)}\right)^2\right]}[/math]

参考文献

スポンサーリンク


【統計検定対策】一様最小分散不偏推定量」への2件のフィードバック

  1. Hiro

    統計検定1級対策のページどれも分かりやすいですが、もしよろしければこのページのように具体例が無い部分は簡単な例でもいいのであげてくれたら幸いです。。初心者にとっていきなり定理をみてイメージするのは難しいので^^;

    返信
  2. starpentagon 投稿作成者

    本文中にもありますが一様最小分散不偏推定量の具体例については「2016年(統計数理)大問1の解答例」をご参照ください。

    返信

コメントを残す

メールアドレスが公開されることはありません。