logo

일양분포의 충분통계량과 최대우도추정량 📂확률분포론

일양분포의 충분통계량과 최대우도추정량

정리

일양분포를 따르는 랜덤샘플 X:=(X1,⋯ ,Xn)∼U(0,θ)\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim U \left( 0 , \theta \right) 이 주어져 있다고 하자.

θ\theta 에 대한 충분통계량 TT 와 최대우도추정량 θ^\hat{\theta} 는 다음과 같다. T=max⁡k=1,⋯ ,nXkθ^=max⁡k=1,⋯ ,nXk \begin{align*} T =& \max_{k=1 , \cdots , n} X_{k} \\ \hat{\theta} =& \max_{k=1 , \cdots , n} X_{k} \end{align*}

증명

전략: 일양분포의 충분통계량과 최대우도추정량은 그 실용성은 둘째치고 과제와 중간, 기말고사 때문에 수도 없이 봐야할 통계량이다. 정의에 의해서 직접 구할 수 있지만 이게 의외로 처음엔 쉽지가 않다.

로케이션 패밀리의 충분통계량과 최대우도추정량: 확률밀도함수가 fX(x;θ)=fX(x−θ)f_{X} \left( x ; \theta \right) = f_{X} \left( x - \theta \right) 인 로케이션 패밀리에서 얻은 랜덤샘플 X1,⋯ ,Xn∼XX_{1} , \cdots , X_{n} \sim X 이 주어져 있다고 하자. 충분통계량과 최대우도추정량은

  • XX 의 서포트가 위로 유계면 max⁡Xk\max X_{k}
  • XX 의 서포트가 아래로 유계면 min⁡Xk\min X_{k}

에 종속된다.

U(0,θ)U \left( 0 , \theta \right) 는 로케이션 패밀리고, 로케이션 패밀리의 충분통계량과 최대우도추정량는 보조정리에 따라 쉽게 짐작할 수 있지만 직관적으로 이해하기 쉽게끔 직접 구해보자.

충분통계량

지시함수의 곱: ∏i=1nI(−∞,θ](xi)=I(−∞,θ](max⁡i∈[n]xi) \prod_{i=1}^{n} I_{(-\infty, \theta]} \left( x_{i} \right) = I_{(-\infty, \theta]} \left( \max_{i \in [n]} x_{i} \right)

f(x;θ)=∏k=1nf(xk;θ)=∏k=1n1θI[0,θ](xk)=1θnI[0,θ](max⁡xk)=1θnI[0,θ](max⁡xk)⋅1 \begin{align*} f \left( \mathbf{x} ; \theta \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) \\ =& \prod_{k=1}^{n} {{ 1 } \over { \theta }} I_{[0,\theta]} \left( x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \cdot 1 \end{align*}

네이만 인수분해 정리: 랜덤 샘플 X1,⋯ ,XnX_{1} , \cdots , X_{n} 이 모수 θ∈Θ\theta \in \Theta 에 대해 같은 확률질량/밀도함수 f(x;θ)f \left( x ; \theta \right) 를 가진다고 하자. 통계량 Y=u1(X1,⋯ ,Xn)Y = u_{1} \left( X_{1} , \cdots , X_{n} \right) 이 θ\theta 의 충분통계량인 것은 다음을 만족하는 음이 아닌 두 함수 k1,k2≥0k_{1} , k_{2} \ge 0 이 존재하는 것이다. f(x1;θ)⋯f(xn;θ)=k1[u1(x1,⋯ ,xn);θ]k2(x1,⋯ ,xn) f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) 단, k2k_{2} 는 θ\theta 에 종속되지 않아야한다.

네이만 인수분해 정리에 따라 T:=max⁡XkT := \max X_{k} 는 θ\theta 에 대한 충분통계량이다.

최대우도추정량

L(θ;x)=f(x;θ)=I[0,θ](max⁡xk) L \left( \theta ; \mathbf{x} \right) = f \left( \mathbf{x} ; \theta \right) = I_{[0,\theta]} \left( \max x_{k} \right) 랜덤샘플의 우도함수는 위와 같이 구해졌는데, 지시함수를 굳이 편미분해야할 필요가 없다.

최대우도추정량의 정의: 다음을 만족하는 추정량 θ^:=θ^(X)\hat{\theta} := \hat{\theta} \left( \mathbf{X} \right) 를 최대우도추정량maximum Likelihood estimator, 줄여서 mle라 부른다. θ^=arg max⁡L(θ;X) \hat{\theta} = \argmax L \left( \theta ; \mathbf{X} \right)

최대우도추정량의 정의에 입각해서 생각해보면 우도함수를 생각할 것도 없이 θ^≥max⁡Xk\hat{\theta} \ge \max X_{k} 기만 하면 되는데, 만약 θ^<max⁡Xk\hat{\theta} < \max X_{k} 면 L=0L = 0 이기 때문이다. 이 설명과 정의에서 알 수 있듯 최대우도추정량은 딱히 max⁡Xk\max X_{k} 로 유일하지는 않고 유일할 필요도 없는데, 굳이 뜬금 없이 max⁡Xk+700\max X_{k} + 700 를 생각할 이유가 없으니 max⁡Xk\max X_{k} 로 충분하다.

■