베이즈 정리 증명 📂수리통계학

베이즈 정리 증명

Proof of bayes Theorem

정리 1

표본공간 $S$ 와 사건 $A$ 에 대해서 ${S_1,S_2,…,S_n}$ 가 $S$ 의 분할이면 $$ P(S_k|A)=\frac { P(S_k)P(A|S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } } $$

설명

혹은 베이즈 법칙으로도 불리는 이 정리는 두개의 법칙만 쓰면 될 정도로 쉽게 증명할 수 있으나 그 응용은 어마어마하다. 이른바 베이지안 패러다임은 통계학 자체를 양분하는 사고방식으로써, 그 중요도는 몇 번을 강조해도 부족함이 없다.

우리가 알고 싶은 것은 위 식에서의 좌변이다. 이미 우리가 아는 것은 사건 $A$ 와 표본공간 $S$ 의 분할 $S_k$ 들이 일어나는 각각의 확률들, 그리고 그 각각이 일어났을 때 $A$ 가 일어날 확률이다. 한마디로 $S_k$와 그것들이 $A$ 에 미치는 영향에 대해서는 모두 알고 있는 상태에서 시작한다. 베이즈의 정리는 여기서 그 반대로, $A$가 그 각각에 어떤 영향을 미치는지 알 수 있게 해주는 정리다. 말이 어렵다면 그냥 우리가 구하고 싶은 게 좌변이라는 것만 생각해도 좋다.

증명

전체확률의 법칙과 확률의 곱셈법칙에 의해 아래 식을 얻는다. $$ \begin{align*} P(A)&=P(A\cap S_1)+P(A\cap S_2)+…+P(A\cap S_n) \\ &=P(S_1)P(A|S_1)+P(S_2)P(A|S_2)+…+P(S_n)P(A|S_n) \\ =& \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } \end{align*} $$ 여기서 양변에 역수를 취하면 $$ \begin{align*} & \frac { 1 }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=\frac { 1 }{ P(A) } \\ &\implies \frac { P(A\cap S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=\frac { P(A\cap S_k) }{ P(A) } \\ \implies& \frac { P(S_k)P(A|S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=P(S_k|A) \end{align*} $$


  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p23. ↩︎

댓글