📂数理統計学

最小分散不偏推定量の一意性

定理 ¹

もし$W$が$\tau (\theta)$の最良不偏推定量だったら、$W$は唯一無二である。

証明

コーシー・シュヴァルツの不等式：確率変数$X, Y$について、以下が成り立つ。 $$\operatorname{Cov} (X,Y) \le \operatorname{Var} X \operatorname{Var} Y$$ 等号が成立するための必要十分条件は次の通り。 $$\exist a \ne 0 , b \in \mathbb{R} : a X + b = Y$$

---

$w '$が$W$にとって別の最良不偏推定量だとし、$W^{\ast} := \left( W + W’ \right) / 2$を考えると、その期待値は $$E_{\theta} W^{\ast} = \left( \tau (\theta) + \tau (\theta) \right) / 2 = \tau (\theta)$$ であり、分散は $$\begin{align*} \operatorname{Var}_{\theta} W^{\ast} =& \operatorname{Var}_{\theta} \left( {{ 1 } \over { 2 }} W + {{ 1 } \over { 2 }} W’ \right) \\ =& {{ 1 } \over { 4 }} \operatorname{Var}_{\theta} W + {{ 1 } \over { 4 }} \operatorname{Var}_{\theta} W’ + {{ 1 } \over { 2 }} \operatorname{Cov}_{\theta} \left( W, W’ \right) \\ \le& {{ 1 } \over { 4 }} \operatorname{Var}_{\theta} W + {{ 1 } \over { 4 }} \operatorname{Var}_{\theta} W’ + {{ 1 } \over { 2 }} \sqrt{\operatorname{Var}_{\theta} W \cdot \operatorname{Var}_{\theta} W’} \\ =& \operatorname{Var}_{\theta} W \end{align*}$$

ここで、不等式$<$が成立するならば、$W$が最良不偏推定量であるという前提に矛盾するので、等号$=$が全ての$\theta$に対して成立することを示せば良い。等号のみが成立するための必要十分条件は、何らかの$a (\theta) \ne 0$と$b(\theta) \in \mathbb{R}$に対して$a (\theta) W + b(\theta) = w '$が成立することであり、直接計算してみると、共分散の性質によって、 $$\begin{align*} \operatorname{Cov}_{\theta} \left( W, W’ \right) =& \operatorname{Cov}_{\theta} \left( W, W’ \right) \\ =& \operatorname{Cov}_{\theta} \left( W, a (\theta) W + b(\theta) \right) \\ =& \operatorname{Cov}_{\theta} \left( W, a (\theta) W \right) \\ =& a (\theta) \operatorname{Var}_{\theta} W \end{align*}$$ 既に$\operatorname{Cov}_{\theta} \left( W, W’ \right) = \operatorname{Var}_{\theta} W$であったので、$a(\theta) = 1$であり、$E_{\theta} \tau (\theta)$であるから$b(\theta) = 0$であり、これで$W = w '$が証明される。

■