📂수리통계학

최소충분통계량이 주어진 불편추정량의 분산은 최소가 된다

정리 ¹

모수 $\theta$ 가 주어져 있다고 하자. $U$ 는 그 불편추정량, $T_{1}$ 은 충분통계량이고 $T_{2}$ 은 최소충분통계량이고 다음과 같이 $$ \begin{align*} U_{1} :=& E \left( U | T_{1} \right) \\ U_{2} :=& E \left( U | T_{2} \right) \end{align*} $$ 를 정의하면 다음이 성립한다. $$ \text{Var} U_{2} \le \text{Var} U_{1} $$

설명

이러나 저러나 $U$ 는 불편추정량이기 때문에 $T_{1}$ 이 주어졌든 $T_{2}$ 가 주어졌든 그 기대값은 $\theta$ 를 찍기는 하지만, 대충 말해서 최소충분통계량이 주어졌을 때 덜 흔들리면서 찍는다고 받아들이면 된다. 충분통계량의 최소성에서 불편추정량 분산의 최소성이 도출된다고 하면 외우기도 간단하다.

증명

최소충분통계량의 정의: 충분통계량 $T \left( \mathbf{X} \right)$ 가 모든 다른 충분통계량 $T ' \left( \mathbf{X} \right)$ 에 대해 $T \left( \mathbf{x} \right)$ 가 $T ' \left( \mathbf{x} \right)$ 의 함수로 나타나면 $T \left( \mathbf{X} \right)$ 를 최소충분통계량^{minimal Sufficient Statistic}이라 한다.

최소충분통계량의 정의에 따라 $T_{2}$ 는 $T_{1}$ 의 함수로 나타나므로, $$ \begin{align*} E \left( U_{1} | T_{2} \right) =& E \left( E \left( U | T_{1} \right) | T_{2} \right) \\ =& E \left( U | T_{2} \right) \\ =& U_{2} \end{align*} $$

조건부 분산의 성질: $$ \text{Var}(X) = E \left( \text{Var}(X | Y) \right) + \text{Var}(E(X | Y)) $$

조건부 분산의 성질에 따라 $U_{1}$, $T_{2}$ 에 대해

$$ \begin{align*} \text{Var} U_{1} =& E \text{Var} \left( U_{1} | T_{2} \right) + \text{Var} E \left( U_{1} | T_{2} \right) \\ =& E \text{Var} \left( U_{1} | T_{2} \right) + \text{Var} U_{2} \end{align*} $$

다. $E \text{Var} \left( U_{1} | T_{2} \right) \ge 0$ 이고 이는 어떤 충분통계량 $T_{1}$ 에 대해서는 성립하므로 최소충분통계량 $T_{2}$ 가 주어진 불편추정량 $U$ 의 기대값의 분산은 최소가 된다.

■