📂수리통계학

최소충분통계량이 주어진 불편추정량의 분산은 최소가 된다

정리 ¹

모수 $\theta$ 가 주어져 있다고 하자. $U$ 는 그 불편추정량, $T_{1}$ 은 충분통계량이고 $T_{2}$ 은 최소충분통계량이고 다음과 같이 $$\begin{align*} U_{1} :=& E \left( U | T_{1} \right) \\ U_{2} :=& E \left( U | T_{2} \right) \end{align*}$$ 를 정의하면 다음이 성립한다. $$\operatorname{Var} U_{2} \le \operatorname{Var} U_{1}$$

설명

이러나 저러나 $U$ 는 불편추정량이기 때문에 $T_{1}$ 이 주어졌든 $T_{2}$ 가 주어졌든 그 기대값은 $\theta$ 를 찍기는 하지만, 대충 말해서 최소충분통계량이 주어졌을 때 덜 흔들리면서 찍는다고 받아들이면 된다. 충분통계량의 최소성에서 불편추정량 분산의 최소성이 도출된다고 하면 외우기도 간단하다.

증명

최소충분통계량의 정의: 충분통계량 $T \left( \mathbf{X} \right)$ 가 모든 다른 충분통계량 $T ' \left( \mathbf{X} \right)$ 에 대해 $T \left( \mathbf{x} \right)$ 가 $T ' \left( \mathbf{x} \right)$ 의 함수로 나타나면 $T \left( \mathbf{X} \right)$ 를 최소충분통계량^{minimal Sufficient statistic}이라 한다.

최소충분통계량의 정의에 따라 $T_{2}$ 는 $T_{1}$ 의 함수로 나타나므로, $$\begin{align*} E \left( U_{1} | T_{2} \right) =& E \left( E \left( U | T_{1} \right) | T_{2} \right) \\ =& E \left( U | T_{2} \right) \\ =& U_{2} \end{align*}$$

조건부 분산의 성질: $$\operatorname{Var}(X) = E \left( \operatorname{Var}(X | Y) \right) + \operatorname{Var}(E(X | Y))$$

조건부 분산의 성질에 따라 $U_{1}$, $T_{2}$ 에 대해

$$\begin{align*} \operatorname{Var} U_{1} =& E \operatorname{Var} \left( U_{1} | T_{2} \right) + \operatorname{Var} E \left( U_{1} | T_{2} \right) \\ =& E \operatorname{Var} \left( U_{1} | T_{2} \right) + \operatorname{Var} U_{2} \end{align*}$$

다. $E \operatorname{Var} \left( U_{1} | T_{2} \right) \ge 0$ 이고 이는 어떤 충분통계량 $T_{1}$ 에 대해서는 성립하므로 최소충분통계량 $T_{2}$ 가 주어진 불편추정량 $U$ 의 기대값의 분산은 최소가 된다.

■