라오-블랙웰 정리 증명
정리 1 2
모수 $\theta$ 가 주어져 있다고 하자. $T$ 가 $\theta$ 의 충분통계량이고 $W$ 가 $\tau \left( \theta \right)$ 의 불편추정량이라고 할 때 $\phi \left( T \right) := E \left( W | T \right)$ 를 정의하면 모든 $\theta$ 에 대해 다음이 성립한다. $$ \begin{align*} E_{\theta} \phi (T) =& \tau (\theta) \\ \operatorname{Var}_{\theta} \phi (T) \le& \operatorname{Var}_{\theta} W \end{align*} $$ 다시 말해, $\phi (T)$ 는 $\tau (\theta)$ 에 대해 $W$ 보다 더 나은 불편추정량uniformly Better Unbiased estimator이다.
설명
라오-블랙웰 정리를 쉬운 말로 요약을 하자면 ‘충분통계량이 쓸모있는 이유를 알려주는 정리’ 정도가 되겠다. 불편추정량은 충분통계량에 대한 정보가 주어졌을 때 분산이 줄어들어 더욱 효율적인 추정량이 된다. 특히 $T$ 가 최소충분통계량이면 $\phi \left( T \right)$ 는 최선불편추정량이 된다는 것이 정리로써 증명되어 있다.
증명
우선 가정에서 $T$ 가 충분통계량이라 했으므로 그 정의에 따라 $W | T$ 의 분포는 $\theta$ 에 독립이고, $\phi \left( T \right) = E \left( W | T \right)$ 는 $\theta$ 에 독립임을 보장할 수 있다.
조건부 기대값의 성질: $$ E \left[ E ( X | Y ) \right] = E(X) $$
조건부 기대값의 성질에 따라 $$ \begin{align*} \tau (\theta) =& E_{\theta} W \\ =& E_{\theta} \left[ E ( W | T ) \right] \\ =& E_{\theta} \phi (T) \end{align*} $$
이고, 따라서 $\phi (T)$ 는 $\tau (\theta)$ 의 불편추정량이다.
조건부 분산의 성질: $$ \operatorname{Var}(X) = E \left( \operatorname{Var}(X | Y) \right) + \operatorname{Var}(E(X | Y)) $$
조건부 분산의 성질에 따라 $$ \begin{align*} \operatorname{Var}_{\theta} W =& \operatorname{Var}_{\theta} \left[ E ( W | T ) \right] + E_{\theta} \left[ \operatorname{Var} ( W | T ) \right] \\ =& \operatorname{Var}_{\theta} \phi (T) + E_{\theta} \left[ \operatorname{Var} ( W | T ) \right] \\ \ge& \operatorname{Var}_{\theta} \phi (T) & \because \operatorname{Var} ( W | T ) \ge 0 \end{align*} $$
이고, 따라서 $\operatorname{Var}_{\theta} \phi (T)$ 는 항상 $W$ 보다는 분산이 작다.
■