📂수리통계학

최대우도추정량의 불변성질 증명

정리

최대우도추정량은 함수를 취하는 것에 대해 불변^invariant 하다. 다시 말해 만약 $\hat{\theta}$ 가 모수 $\theta$ 의 최대우도추정량면, 모든 함수 $\tau$ 에 대해 $\tau \left( \hat{\theta} \right)$ 역시 $\tau \left( \theta \right)$ 의 최대우도추정량이다.

증명 ¹

$\eta := \tau \left( \theta \right)$ 라고 두고 우도함수 $L = L \left( \theta | \mathbf{x} \right)$ 에 대해 새로운 함수 $L^{\ast}$ 를 $$ L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) = L^{\ast} \left( \tau^{-1} \left( \eta \right) | \mathbf{x} \right) $$ 과 같이 정의하자.

$\hat{\eta}$ 가 우도함수 $L^{\ast} \left( \eta | \mathbf{x} \right)$ 의 함수값을 최대화한다고 하면, $$ L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) = L^{\ast} \left( \tau \left( \hat{\theta} \right) | \mathbf{x} \right) $$ 이 성립함을 보이면 된다. $$ \begin{align*} L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) =& \sup_{\eta} \sup_{\left\{ \theta : \tau (\theta) = \eta \right\}} L \left( \theta | \mathbf{x} \right) \\ =& \sup_{\theta} L \left( \theta | \mathbf{x} \right) \\ =& L \left( \hat{\theta} | \mathbf{x} \right) \\ =& \sup_{\left\{ \theta : \tau (\theta) = \tau \left( \hat{\theta} \right) \right\}} L \left( \theta | \mathbf{x} \right) \\ =& L^{\ast} \left( \tau \left( \hat{\theta} \right) | \mathbf{x} \right) \end{align*} $$

여기서 $\left\{ \theta : \tau (\theta) = \eta \right\}$ 같은 집합들을 생각하는 이유는 $\tau$ 가 전단사라는 보장이 없기 때문이다. 물론 따지고보면 그에 따라 $\tau^{-1}$ 라는 표현부터 사용하지 않는 게 맞지만, 이 정리의 맥락에서는 신경쓰지 않아도 된다.

■