📂수리통계학

제프리 사전분포

정의 ¹

자료의 분포 $p( y | \theta)$ 에 대해 $\pi ( \theta ) \propto I^{1/2} ( \theta )$ 를 제프리 사전분포^{jeffreys Prior}라 한다.

---

• $I$ 는 피셔정보^{fishser Information}를 의미한다. $$ I ( \theta ) = E \left[ \left( \left. {{\partial \ln p (y | \theta) } \over {\partial \theta}} \right)^2 \right| \theta \right] = E \left[ \left. - {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} \right| \theta \right] $$

설명

라플라스 사전분포 $\pi (\theta) \propto 1$ 는 모수 $\theta$ 의 사전분포로써는 충분했으나, $\phi = \theta^2$ 와 같이 모수의 함수에 대해서는 $d \phi = 2 \theta d \theta$ 이므로 $\displaystyle \pi (\phi ) \propto {{1} \over {\sqrt{\phi } }}$ 이 되어 $\theta$ 와 동일한 사전분포가 아니게 된다. 제프리 사전분포는 이러한 불변성^invariance의 결여를 극복한 사전분포로써, 기본적으로 라플라스 사전분포의 상위호환이다.

예시

예를 들어 자료가 지수분포 $\displaystyle \exp \left( {{1} \over {\theta}} \right)$ 를 따른다고 할 때, 라플라스 사전분포 $\displaystyle \pi ( \theta ) \propto c$ 는 부적절 사후분포를 초래하는 문제가 있었다.

먼저 제프리 사전분포를 구해보면, $\displaystyle p( y | \theta ) = {{1} \over { \theta }} \exp \left( - {{ y } \over { \theta }} \right)$ 이므로 $$ {{\partial \ln p (y | \theta) } \over {\partial \theta}} = - {{1 } \over { \theta }} + {{ y} \over { \theta^2 }} $$ 한 번 더 $\theta$ 에 대해 편미분 하면 $\displaystyle p( y | \theta ) = {{1} \over { \theta }} \exp \left( - {{ y } \over { \theta }} \right)$ 이므로 $$ {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} = {{1 } \over { \theta ^2}} - {{ 2 y} \over { \theta^3 }} $$ 따라서 $$ E \left[ \left. - {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} \right| \theta \right] = {{ 2 \theta } \over { \theta^3 }} - {{1 } \over { \theta ^2}} = {{1 } \over { \theta ^2}} $$ 이고, 제프리 사전분포 $\displaystyle \pi ( \theta ) = {{1 } \over { \theta }}$ 를 얻는다.

이 사후분포가 적절한지 확인하기 위해 $\displaystyle \theta = {{1} \over {z}}$ 라 두고 정적분을 구해보면 $$ \int_{0 }^{\infty} p ( \theta | y ) d \theta \propto \int_{0}^{\infty} z^2 \exp ( - y z ) {{1} \over {z^2}} dx = {{1} \over {y}} < \infty $$ 이다. 따라서 이 경우엔 제프리 사전분포가 적절한 사후분포를 유도했음을 확인할 수 있다.