📂수리통계학

켤레사전분포

정의 ¹

사전분포와 사후분포가 동일한 분포족에 속하면 사전분포를 켤레사전분포^{conjugate Prior} 혹은 공액사전분포라고 한다.

설명

베이지안이란 본래 사전분포가 어떻게 되든 업데이트를 통해 모수를 찾아가는 것이긴 하지만, 모형에 대해 어느정도 아는 바가 있다면 적절한 사전분포를 사용함으로써 수학적 계산을 간단하게 하고 결과를 이해하기 쉽게 할 수 있다.

• (1) $\text{Bin} (n , \theta)$ 의 켤레사전분포는 $\theta \sim \text{Beta} (\alpha, \beta)$
• (2) $\text{Poi} ( \theta)$ 의 켤레사전분포는 $\theta \sim \text{Gamma} (a, b)$
• (3) 모분산 $\sigma^2$ 를 알 때, $N ( \mu , \sigma^2 )$ 의 켤레사전분포는 $\mu \sim N ( \mu_{0} , \tau_{0}^2 )$
• (4) 모평균 $\mu$ 를 알 때, $N ( \mu , \sigma^2 )$ 의 켤레사전분포는 $\displaystyle \tau = {{1} \over {\sigma^2 }}$ 에 대해 $\tau \sim \text{Gamma} (a, b)$
• (5) $\lambda$ 를 알 때, $\text{Gamma} (a, \lambda)$ 의 켤레사전분포는 $\lambda \sim \text{Gamma} (a, b)$

예시

예로써 이항자료에 대한 모형 $p ( y | \theta ) = \binom{ n}{ y } \theta^{y} (1-\theta)^{n-y}$ 을 생각해보자:

이에 대한 켤레사전분포 $\theta \sim \text{Beta} (\alpha, \beta)$ 를 생각해보면 $$ \pi (\theta) \propto \theta^{\alpha - 1} ( 1 - \theta )^{\beta -1 } $$ 그러면 $\theta$ 의 사후분포는 $$ p ( \theta | y ) \propto \theta^{y + \alpha -1 } (1-\theta)^{n-y + \beta -1} $$ 인데, 이는 곧 베타 분포 $ \theta \sim \text{Beta} (y + \alpha, n - y + \beta)$ 를 의미한다. 따라서 $\theta$ 의 사후평균은 $$ E ( \theta | y) = {{y + \alpha} \over {n + \alpha + \beta}} $$ 인데, 이는 표본평균 $\displaystyle {{y} \over {n}}$ 과 사전평균 $\displaystyle {{\alpha } \over {\alpha + \beta}}$ 의 가중평균인 $$ E ( \theta | y) = {{n} \over {n + \alpha + \beta}} {{y} \over {n}} + {{\alpha + \beta } \over {n + \alpha + \beta}} {{\alpha} \over {\alpha + \beta}} $$ 의 꼴로도 볼 수 있다.

따라서 표본 $n$ 이 커지면 커질수록 사전평균의 영향력은 줄어들고, 프리퀀티스트 추론과 가까워짐을 짐작할 수 있다.

위의 논의를 켤레사전분포라는 개념에 집중해서 다시 보자면, 사전분포를 베타 분포로 써서 사후분포도 베타 분포로 나타났기 때문에 순차적분석이 매우 용이한 것을 확인할 수 있었다. 이항분포의 pmf와 베타 분포의 pdf가 비슷하게 생겼기 때문에 수식적으로도 어려운 부분이 크게 없고 술술 잘 넘어간 것이다.