📂수리통계학

베이즈 정리의 증명과 사전분포, 사후분포

정리 ¹

표본공간 $S$ 와 사건 $A$, 확률 $P$에 대해서 $\left\{ S_1, S_2, \cdots ,S_n \right\}$ 가 $S$ 의 분할이면 다음이 성립한다. $$P(S_k|A)=\frac { P(S_k)P(A|S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }$$

정의

베이즈 정리의 우변에 있는 $P \left( S_{k} \right)$ 를 사전확률^{prior Probability} 좌변에 해당하는 $P \left( S_{k} | A \right)$ 를 사후확률^{posterior Probability}이라 한다. 이 확률들로 만들어지는 확률분포를 각각 사전분포^{prior distribution}, 사후분포^{posterior distribution}라 한다. $A$ (혹은 확률 $P(A) = \sum P(S_k)P(A|S_k)$나 대응되는 확률밀도함수를)를 증거^evidence, 주변 우도^{marginal likelihood<\sup>라 부른다.}

설명

혹은 베이즈 법칙^{Bayes’ rule}으로도 불리는 이 정리는 두개의 법칙만 쓰면 될 정도로 쉽게 증명할 수 있으나 그 응용은 어마어마하다. 이른바 베이지안 패러다임은 통계학 자체를 양분하는 사고방식으로써, 그 중요도는 몇 번을 강조해도 부족함이 없다.

우리가 알고 싶은 것은 위 식에서의 좌변이다. 이미 우리가 아는 것은 사건 $A$ 와 표본공간 $S$ 의 분할 $S_k$ 들이 일어나는 각각의 확률들, 그리고 그 각각이 일어났을 때 $A$ 가 일어날 확률이다. 한마디로 $S_k$와 그것들이 $A$ 에 미치는 영향에 대해서는 모두 알고 있는 상태에서 시작한다. 베이즈의 정리는 여기서 그 반대로, $A$가 그 각각에 어떤 영향을 미치는지 알 수 있게 해주는 정리다. 말이 어렵다면 그냥 우리가 구하고 싶은 게 좌변이라는 것만 생각해도 좋다.

증명

전체확률의 법칙과 확률의 곱셈법칙에 의해 아래 식을 얻는다. $$\begin{align*} P(A)=&P(A\cap S_1)+P(A\cap S_2)+…+P(A\cap S_n) \\ =&P(S_1)P(A|S_1)+P(S_2)P(A|S_2)+…+P(S_n)P(A|S_n) \\ =& \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } \end{align*}$$ 여기서 양변에 역수를 취하면 $$\begin{align*} & \frac { 1 }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=\frac { 1 }{ P(A) } \\ \implies& \frac { P(A\cap S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=\frac { P(A\cap S_k) }{ P(A) } \\ \implies& \frac { P(S_k)P(A|S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=P(S_k|A) \end{align*}$$

■