logo

최대우도추정량의 불변성질 증명 📂수리통계학

최대우도추정량의 불변성질 증명

정리

최대우도추정량은 함수를 취하는 것에 대해 불변invariant 하다. 다시 말해 만약 θ^\hat{\theta} 가 모수 θ\theta 의 최대우도추정량면, 모든 함수 τ\tau 에 대해 τ(θ^)\tau \left( \hat{\theta} \right) 역시 τ(θ)\tau \left( \theta \right) 의 최대우도추정량이다.

증명 1

η:=τ(θ)\eta := \tau \left( \theta \right) 라고 두고 우도함수 L=L(θ∣x)L = L \left( \theta | \mathbf{x} \right) 에 대해 새로운 함수 L∗L^{\ast} 를 L∗(η^∣x)=L∗(τ−1(η)∣x) L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) = L^{\ast} \left( \tau^{-1} \left( \eta \right) | \mathbf{x} \right) 과 같이 정의하자.

η^\hat{\eta} 가 우도함수 L∗(η∣x)L^{\ast} \left( \eta | \mathbf{x} \right) 의 함수값을 최대화한다고 하면, L∗(η^∣x)=L∗(τ(θ^)∣x) L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) = L^{\ast} \left( \tau \left( \hat{\theta} \right) | \mathbf{x} \right) 이 성립함을 보이면 된다. L∗(η^∣x)=sup⁡ηsup⁡{θ:τ(θ)=η}L(θ∣x)=sup⁡θL(θ∣x)=L(θ^∣x)=sup⁡{θ:τ(θ)=τ(θ^)}L(θ∣x)=L∗(τ(θ^)∣x) \begin{align*} L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) =& \sup_{\eta} \sup_{\left\{ \theta : \tau (\theta) = \eta \right\}} L \left( \theta | \mathbf{x} \right) \\ =& \sup_{\theta} L \left( \theta | \mathbf{x} \right) \\ =& L \left( \hat{\theta} | \mathbf{x} \right) \\ =& \sup_{\left\{ \theta : \tau (\theta) = \tau \left( \hat{\theta} \right) \right\}} L \left( \theta | \mathbf{x} \right) \\ =& L^{\ast} \left( \tau \left( \hat{\theta} \right) | \mathbf{x} \right) \end{align*}

여기서 {θ:τ(θ)=η}\left\{ \theta : \tau (\theta) = \eta \right\} 같은 집합들을 생각하는 이유는 τ\tau 가 전단사라는 보장이 없기 때문이다. 물론 따지고보면 그에 따라 τ−1\tau^{-1} 라는 표현부터 사용하지 않는 게 맞지만, 이 정리의 맥락에서는 신경쓰지 않아도 된다.

■

  1. Casella. (2001). Statistical Inference(2nd Edition): p320. ↩︎