【統計検定対策】一様最小分散不偏推定量

推定量の評価尺度

一様最小分散不偏推定量の定義に入る前に推定量の評価尺度について説明します。

ある分布のパラメータ[math]\theta[/math]の推定量[math]\hat{\theta}(X)[/math]の評価尺度として平均二乗誤差[math]E_\theta\left[\left(\hat{\theta}(X)-\theta\right)^2\right][/math]がよく用いられます。このとき、確率変数の平均周りのモーメントで展開するという定石に従い[math]\bar{\hat{\theta}}=E\left[\hat{\theta}\right][/math]とすると

[math]
\begin{eqnarray}
&& E_\theta\left[\left(\hat{\theta}(X)-\theta\right)^2\right] \\
&=& E_\theta\left[\left(\hat{\theta}(X)-\bar{\hat{\theta}}+\bar{\hat{\theta}}-\theta\right)^2\right] \\
&=& E\left[\left(\hat{\theta}(X)-\bar{\hat{\theta}}\right)^2\right] \\
&& \quad +2\left(\bar{\hat{\theta}}-\theta\right)E\left[\hat{\theta}(X)-\bar{\hat{\theta}}\right]
+\left(\bar{\hat{\theta}}-\theta\right)^2 \\
&=& V\left[\hat{\theta}(X)\right] + \left(\bar{\hat{\theta}}-\theta\right)^2
\end{eqnarray}
[/math]

となり、

となることが分かります。推定量が不偏推定量の場合、[math]E\left[\hat{\theta}\right]=\theta[/math]が成立するのでこの場合、

が成立します。つまり、分散が最も小さくなる推定量が「良い」推定量と考えられます。一般に分散[math]V\left[\hat{\theta}(X)\right][/math]は[math]\theta[/math]の関数になるため任意の[math]\theta[/math]について分散が最小になる推定量が存在すれば「最も良い」推定量だと言えます。この「最も良い推定量」を定義したのが一様最小分散不偏推定量です。

定義

一様最小分散不偏推定量の問題

統計検定1級でも2016年（数理統計）大問1（4）で、ある推定量が一様最小分散不偏推定量かを判定する問題が出題されています。

一様最小分散不偏推定量になるかどうかの一般的な判定は難しいため以下の定石が使えるケースの問題がほとんどで、2016年の問題でもこの定石を知っていれば見通し良く解くことができます。（詳細は「2016年（統計数理）大問1の解答例」を参照ください。）

一様最小分散不偏推定量の定石([math]\theta(X)[/math]が[math]\theta[/math]の推定量の場合)

正則性（推定量の期待値計算における微分と積分の可換性）および推定量の分散の有限性を仮定すると以下のクラメール・ラオの不等式が成立することが知られています。

ポイントは右辺は推定量[math]\theta(X)[/math]に依存しないため、もし等号が成立する不偏推定量[math]\theta(X)[/math]が見つかればそれは一様最小分散不偏推定量であることが分かります。

クラメール・ラオの不等式において等号が成立するための必要十分条件が知られています。

この条件式が成立しているならばその推定量が

• 不偏推定量であること
• クラメール・ラオの下限を実現すること

を示すことで一様最小分散不偏推定量であることを示せます。

一様最小分散不偏推定量の定石([math]\theta(X)[/math]が[math]\tau(\theta)[/math]の推定量の場合)

推定量[math]\theta(X)[/math]が一般の[math]\tau(\theta)[/math](例えば[math]\frac{1}{\theta}[/math])の場合も同様の不等式を示すことができます。

参考文献

• Casella, G and Berger, R.L.(1990), Statistical Inference(Second Edition): Section 7.3 Methods of Evaluating Estimators