ラオ・ブラックウェルの定理の証明
定理 1 2
パラメーター $\theta$ が与えられたとする。$T$ が $\theta$ の十分統計量で、$W$ が $\tau \left( \theta \right)$ の不偏推定量である場合、$\phi \left( T \right) := E \left( W | T \right)$ を定義すると、すべての $\theta$ に対して次が成り立つ。 $$ \begin{align*} E_{\theta} \phi (T) =& \tau (\theta) \\ \text{Var}_{\theta} \phi (T) \le& \text{Var}_{\theta} W \end{align*} $$ 言い換えると、$\phi (T)$ は $\tau (\theta)$ に対して $W$ よりもより良い不偏推定量uniformly Better Unbiased Estimatorである。
説明
ラオ・ブラックウェル定理を簡単に要約するならば、「十分統計量が役立つ理由を教えてくれる定理」程度になるだろう。不偏推定量は、十分統計量に関する情報が与えられた時に分散が減少し、より効率的な推定量になる。特に$T$ が最小十分統計量であれば、$\phi \left( T \right)$ は最良不偏推定量になることが定理によって証明されている。
証明
まず、前提として$T$ が十分統計量であるため、その定義に従い、$W | T$ の分布は $\theta$ と独立であり、同様に、$\phi \left( T \right) = E \left( W | T \right)$ も $\theta$ と独立であることが保証される。
条件付き期待値の性質: $$ E \left[ E ( X | Y ) \right] = E(X) $$
条件付き期待値の性質により $$ \begin{align*} \tau (\theta) =& E_{\theta} W \\ =& E_{\theta} \left[ E ( W | T ) \right] \\ =& E_{\theta} \phi (T) \end{align*} $$
したがって、$\phi (T)$ は $\tau (\theta)$ の不偏推定量である。
条件付き分散の性質: $$ \text{Var}(X) = E \left( \text{Var}(X | Y) \right) + \text{Var}(E(X | Y)) $$
条件付き分散の性質により $$ \begin{align*} \text{Var}_{\theta} W =& \text{Var}_{\theta} \left[ E ( W | T ) \right] + E_{\theta} \left[ \text{Var} ( W | T ) \right] \\ =& \text{Var}_{\theta} \phi (T) + E_{\theta} \left[ \text{Var} ( W | T ) \right] \\ \ge& \text{Var}_{\theta} \phi (T) & \because \text{Var} ( W | T ) \ge 0 \end{align*} $$
したがって、$\text{Var}_{\theta} \phi (T)$ は常に $W$ よりも分散が小さい。
■