네이만 인수분해 정리 증명
정리
랜덤 샘플 $X_{1} , \cdots , X_{n}$ 이 모수 $\theta \in \Theta$ 에 대해 같은 확률질량/밀도함수 $f \left( x ; \theta \right)$ 를 가진다고 하자. 통계량 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ 이 $\theta$ 의 충분통계량인 것은 다음을 만족하는 음이 아닌 두 함수 $k_{1} , k_{2} \ge 0$ 이 존재하는 것이다. $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ 단, $k_{2}$ 는 $\theta$ 에 종속되지 않아야한다.
증명
충분통계량의 정의: $\theta \in \Theta$ 에 종속되지 않은 $H \left( x_{1} , \cdots , x_{n} \right)$ 에 대해 $$ {{ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) } \over { f_{Y_{1}} \left( u_{1} \left( x_{1} , \cdots, x_{n} \right) ; \theta \right) }} = H \left( x_{1} , \cdots , x_{n} \right) $$ 이면 $Y_{1}$ 을 $\theta$ 에 대한 충분통계량sufficient statistic이라 한다.
연속 확률 분포에 대해서만 증명1한다. 이산 확률 분포에 대한 증명2은 카셀라를 참고하라.
$(\Rightarrow)$
충분통계량의 정의에서 $f_{Y_{1}}$ 는 $k_{1}$, $H$ 는 $f_{2}$ 에 해당하므로 자명하다.
$(\Leftarrow)$
$$ \begin{align*} y_{1} &:= u_{1} \left( x_{1} , \cdots , x_{n} \right) \\ y_{2} &:= u_{2} \left( x_{1} , \cdots , x_{n} \right) \\ &\vdots \\ y_{n} &:= u_{n} \left( x_{1} , \cdots , x_{n} \right) \end{align*} $$
편의상 위 함수들의 역함수를 다음과 같이 두고 자코비안을 $J$ 로 나타내자.
$$ \begin{align*} x_{1} &:= w_{1} \left( y_{1} , \cdots , y_{n} \right) \\ x_{2} &:= w_{2} \left( y_{1} , \cdots , y_{n} \right) \\ &\vdots \\ x_{n} &:= w_{n} \left( y_{1} , \cdots , y_{n} \right) \end{align*} $$
그러면 $Y_{1} , \cdots , Y_{n}$ 의 조인트 확률밀도함수 $g$ 는 $w_{i} = w_{i} \left( y_{1} , \cdots , y_{n} \right)$ 에 대해 $$ g \left( y_{1} , \cdots , y_{n} ; \theta \right) = k_{1} \left( y_{1} ; \theta \right) k_{2} \left( w_{1} , \cdots , w_{n} \right) \left| J \right| $$ 이고, $Y_{1}$ 의 마지널 확률밀도함수 $f_{Y_{1}}$ 은 $$ \begin{align*} f_{Y_{1}} \left( y_{1} ; \theta \right) =& \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} g \left( y_{1} , \dots , y_{n} ; \theta \right) d y_{2} \cdots d y_{n} \\ =& k_{1} \left( y_{1} ; \theta \right) \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} \left| J \right| k_{2} \left( w_{1} , \dots , w_{n} \right) d y_{2} \cdots d y_{n} \end{align*} $$ $k_{2}$ 는 $\theta$ 에 종속되지 않는 함수면서 $J$ 역시 $\theta$ 가 개입되지 않았으므로 우변에서 $n-1$중 적분은 $\theta$ 에 무관한 $y_{1}$ 만의 함수로 나타낼 수 있다. 이를 임시로 $m \left( y_{1} \right)$ 이라 적어보면 $$ f_{Y_{1}} \left( y_{1} ; \theta \right) = k_{1} \left( y_{1} ; \theta \right) m \left( y_{1} \right) $$ 여기서 만약 $m \left( y_{1} \right) = 0$ 이면 자명하게 $f_{Y_{1}} \left( y_{1} ; \theta \right) = 0$ 이다. 이제 $m \left( y_{1} \right) > 0$ 이라 가정해보면 다음과 같이 적을 수 있다. $$ k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] = {{ f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} $$ 가정에서 주어진 식에 대입하면 $$ \begin{align*} f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) =& k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) \\ =& {{ f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} k_{2} \left( x_{1} , \cdots , x_{n} \right) \\ =& f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] {{ k_{2} \left( x_{1} , \cdots , x_{n} \right) } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} \end{align*} $$ $k_{2}$ 와 $m$ 둘 다 $\theta$ 에 종속되지 않으므로, 정의에 따라 $Y_{1}$ 은 $\theta$ 의 충분통계량이다.
■