일양분포의 충분통계량과 최대우도추정량
정리
일양분포를 따르는 랜덤샘플 $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim U \left( 0 , \theta \right)$ 이 주어져 있다고 하자.
$\theta$ 에 대한 충분통계량 $T$ 와 최대우도추정량 $\hat{\theta}$ 는 다음과 같다. $$ \begin{align*} T =& \max_{k=1 , \cdots , n} X_{k} \\ \hat{\theta} =& \max_{k=1 , \cdots , n} X_{k} \end{align*} $$
증명
전략: 일양분포의 충분통계량과 최대우도추정량은 그 실용성은 둘째치고 과제와 중간, 기말고사 때문에 수도 없이 봐야할 통계량이다. 정의에 의해서 직접 구할 수 있지만 이게 의외로 처음엔 쉽지가 않다.
로케이션 패밀리의 충분통계량과 최대우도추정량: 확률밀도함수가 $f_{X} \left( x ; \theta \right) = f_{X} \left( x - \theta \right)$ 인 로케이션 패밀리에서 얻은 랜덤샘플 $X_{1} , \cdots , X_{n} \sim X$ 이 주어져 있다고 하자. 충분통계량과 최대우도추정량은
- $X$ 의 서포트가 위로 유계면 $\max X_{k}$
- $X$ 의 서포트가 아래로 유계면 $\min X_{k}$
에 종속된다.
$U \left( 0 , \theta \right)$ 는 로케이션 패밀리고, 로케이션 패밀리의 충분통계량과 최대우도추정량는 보조정리에 따라 쉽게 짐작할 수 있지만 직관적으로 이해하기 쉽게끔 직접 구해보자.
충분통계량
지시함수의 곱: $$ \prod_{i=1}^{n} I_{(-\infty, \theta]} \left( x_{i} \right) = I_{(-\infty, \theta]} \left( \max_{i \in [n]} x_{i} \right) $$
$$ \begin{align*} f \left( \mathbf{x} ; \theta \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) \\ =& \prod_{k=1}^{n} {{ 1 } \over { \theta }} I_{[0,\theta]} \left( x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \cdot 1 \end{align*} $$
네이만 인수분해 정리: 랜덤 샘플 $X_{1} , \cdots , X_{n}$ 이 모수 $\theta \in \Theta$ 에 대해 같은 확률질량/밀도함수 $f \left( x ; \theta \right)$ 를 가진다고 하자. 통계량 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ 이 $\theta$ 의 충분통계량인 것은 다음을 만족하는 음이 아닌 두 함수 $k_{1} , k_{2} \ge 0$ 이 존재하는 것이다. $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ 단, $k_{2}$ 는 $\theta$ 에 종속되지 않아야한다.
네이만 인수분해 정리에 따라 $T := \max X_{k}$ 는 $\theta$ 에 대한 충분통계량이다.
최대우도추정량
$$ L \left( \theta ; \mathbf{x} \right) = f \left( \mathbf{x} ; \theta \right) = I_{[0,\theta]} \left( \max x_{k} \right) $$ 랜덤샘플의 우도함수는 위와 같이 구해졌는데, 지시함수를 굳이 편미분해야할 필요가 없다.
최대우도추정량의 정의: 다음을 만족하는 추정량 $\hat{\theta} := \hat{\theta} \left( \mathbf{X} \right)$ 를 최대우도추정량maximum Likelihood estimator, 줄여서 mle라 부른다. $$ \hat{\theta} = \argmax L \left( \theta ; \mathbf{X} \right) $$
최대우도추정량의 정의에 입각해서 생각해보면 우도함수를 생각할 것도 없이 $\hat{\theta} \ge \max X_{k}$ 기만 하면 되는데, 만약 $\hat{\theta} < \max X_{k}$ 면 $L = 0$ 이기 때문이다. 이 설명과 정의에서 알 수 있듯 최대우도추정량은 딱히 $\max X_{k}$ 로 유일하지는 않고 유일할 필요도 없는데, 굳이 뜬금 없이 $\max X_{k} + 700$ 를 생각할 이유가 없으니 $\max X_{k}$ 로 충분하다.
■