📂수리통계학

라플라스 계승 법칙

정리 ¹

이항모형 $\displaystyle p(y | \theta) = \binom{ n }{ y} \theta^{y} (1- \theta)^{n-y}$ 의 사전분포가 일양 분포 $U (0,1)$ 를 따르고 사후분포가 베타 분포 $\beta (y+1 , n-y+1)$ 을 따라 $p( \theta | y ) \sim \theta^{y} (1- \theta)^{n-y}$ 이라고 하자. 그러면 이제까지 얻은 데이터 $y$ 에 대해 새로운 $\tilde{y}$ 가 $1$ 일 확률은 $$ p(\tilde{y} = 1| y) = {{y+1} \over {n+2}} $$

설명

프리퀀티스트의 관점으로 보았을 때 $\tilde{y} = 1$ 일 확률은 그 표본비율 $\displaystyle {{y} \over {n}}$ 에 가까울 것이다. 그런데 기본적으로 $n$ 이 커지면 커질수록 $\displaystyle {{y+1} \over {n+2}} \simeq {{y} \over {n}}$ 이므로, 프리퀀티스트든 베이지안이든 표본이 늘어나면 결국 비슷한 추정을 하게 된다. 한편 시행을 전혀 하지 않은 상태, 즉 $n=0$ 인 경우를 생각해보면 $\displaystyle p(\tilde{y} = 1| y) = {{1} \over {2}}$ 으로 사전분포인 균일 분포와 잘 맞아 떨어진다. 이 말은 곧 우리의 추론이 $\displaystyle \theta = {{1} \over {2}}$ 에서 시작했음을 수식적으로 보여주는 것이기도 하다.

증명

$$ \begin{align*} p (\tilde{y} = 1| y) =& \int_{0}^{1} p(\tilde{y} = 1| \theta , y) p (\theta | y) d \theta \\ =& \int_{0}^{1} p(\tilde{y} = 1| \theta ) p (\theta | y) d \theta \\ =& \int_{0}^{1} \theta p (\theta | y) d \theta \\ =& E( \theta | y) \end{align*} $$

$\theta p (\theta | y)$ 는 베타분포 $\beta (y+1 , n-y+1)$ 를 따르므로

$$ E( \theta | y) = {{y+1} \over {(y+1) + (n-y+1)}} = {{y+1} \over {n+2}} $$

■