📂수리통계학

네이만 인수분해 정리 증명

정리

랜덤 샘플 $X_{1} , \cdots , X_{n}$ 이 모수 $\theta \in \Theta$ 에 대해 같은 확률질량/밀도함수 $f \left( x ; \theta \right)$ 를 가진다고 하자. 통계량 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ 이 $\theta$ 의 충분통계량인 것은 다음을 만족하는 음이 아닌 두 함수 $k_{1} , k_{2} \ge 0$ 이 존재하는 것이다. $$f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right)$$ 단, $k_{2}$ 는 $\theta$ 에 종속되지 않아야한다.

증명

충분통계량의 정의: $\theta \in \Theta$ 에 종속되지 않은 $H \left( x_{1} , \cdots , x_{n} \right)$ 에 대해 $${{ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) } \over { f_{Y_{1}} \left( u_{1} \left( x_{1} , \cdots, x_{n} \right) ; \theta \right) }} = H \left( x_{1} , \cdots , x_{n} \right)$$ 이면 $Y_{1}$ 을 $\theta$ 에 대한 충분통계량^{sufficient statistic}이라 한다.

연속 확률 분포에 대해서만 증명¹한다. 이산 확률 분포에 대한 증명²은 카셀라를 참고하라.

---

$(\Rightarrow)$

충분통계량의 정의에서 $f_{Y_{1}}$ 는 $k_{1}$, $H$ 는 $f_{2}$ 에 해당하므로 자명하다.

---

$(\Leftarrow)$

$$\begin{align*} y_{1} &:= u_{1} \left( x_{1} , \cdots , x_{n} \right) \\ y_{2} &:= u_{2} \left( x_{1} , \cdots , x_{n} \right) \\ &\vdots \\ y_{n} &:= u_{n} \left( x_{1} , \cdots , x_{n} \right) \end{align*}$$

편의상 위 함수들의 역함수를 다음과 같이 두고 자코비안을 $J$ 로 나타내자.

$$\begin{align*} x_{1} &:= w_{1} \left( y_{1} , \cdots , y_{n} \right) \\ x_{2} &:= w_{2} \left( y_{1} , \cdots , y_{n} \right) \\ &\vdots \\ x_{n} &:= w_{n} \left( y_{1} , \cdots , y_{n} \right) \end{align*}$$

그러면 $Y_{1} , \cdots , Y_{n}$ 의 조인트 확률밀도함수 $g$ 는 $w_{i} = w_{i} \left( y_{1} , \cdots , y_{n} \right)$ 에 대해 $$g \left( y_{1} , \cdots , y_{n} ; \theta \right) = k_{1} \left( y_{1} ; \theta \right) k_{2} \left( w_{1} , \cdots , w_{n} \right) \left| J \right|$$ 이고, $Y_{1}$ 의 마지널 확률밀도함수 $f_{Y_{1}}$ 은 $$\begin{align*} f_{Y_{1}} \left( y_{1} ; \theta \right) =& \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} g \left( y_{1} , \dots , y_{n} ; \theta \right) d y_{2} \cdots d y_{n} \\ =& k_{1} \left( y_{1} ; \theta \right) \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} \left| J \right| k_{2} \left( w_{1} , \dots , w_{n} \right) d y_{2} \cdots d y_{n} \end{align*}$$ $k_{2}$ 는 $\theta$ 에 종속되지 않는 함수면서 $J$ 역시 $\theta$ 가 개입되지 않았으므로 우변에서 $n-1$중 적분은 $\theta$ 에 무관한 $y_{1}$ 만의 함수로 나타낼 수 있다. 이를 임시로 $m \left( y_{1} \right)$ 이라 적어보면 $$f_{Y_{1}} \left( y_{1} ; \theta \right) = k_{1} \left( y_{1} ; \theta \right) m \left( y_{1} \right)$$ 여기서 만약 $m \left( y_{1} \right) = 0$ 이면 자명하게 $f_{Y_{1}} \left( y_{1} ; \theta \right) = 0$ 이다. 이제 $m \left( y_{1} \right) > 0$ 이라 가정해보면 다음과 같이 적을 수 있다. $$k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] = {{ f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }}$$ 가정에서 주어진 식에 대입하면 $$\begin{align*} f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) =& k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) \\ =& {{ f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} k_{2} \left( x_{1} , \cdots , x_{n} \right) \\ =& f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] {{ k_{2} \left( x_{1} , \cdots , x_{n} \right) } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} \end{align*}$$ $k_{2}$ 와 $m$ 둘 다 $\theta$ 에 종속되지 않으므로, 정의에 따라 $Y_{1}$ 은 $\theta$ 의 충분통계량이다.

■