📂数理統計学

ベイズの定理の証明と事前分布、事後分布

定理 ¹

標本空間$S$と事象$A$、確率$P$に対して$\left\{ S_1, S_2, \cdots ,S_n \right\}$が$S$の分割であれば、次が成り立つ。 $$ P(S_k|A)=\frac { P(S_k)P(A|S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } } $$

定義

ベイズの定理の右辺にある$P \left( S_{k} \right)$を事前確率^{prior probability}、左辺に該当する$P \left( S_{k} | A \right)$を事後確率^{posterior probability}という。これらの確率から作られる確率分布をそれぞれ事前分布^{prior distribution}、事後分布^{posterior distribution}という。$A$（あるいは確率$P(A) = \sum P(S_k)P(A|S_k)$や対応する確率密度関数を）をエビデンス^evidence、周辺尤度^{marginal likelihood}と呼ぶ。

説明

あるいはベイズの法則^{Bayes’ rule}とも呼ばれるこの定理は、二つの法則を使うだけで済むほど簡単に証明できるが、その応用は計り知れない。いわゆるベイジアン・パラダイムは統計学そのものを二分する考え方であり、その重要性は何度強調しても足りない。

我々が知りたいのは上の式における左辺である。すでに我々が知っているのは、事象$A$と標本空間$S$の分割$S_k$たちが起こるそれぞれの確率、そしてそのそれぞれが起こったときに$A$が起こる確率である。一言でいえば、$S_k$とそれらが$A$に及ぼす影響についてはすべて分かっている状態から始まる。ベイズの定理はここでその逆に、$A$がそのそれぞれにどんな影響を及ぼすのかを知ることができるようにしてくれる定理である。言葉が難しければ、ただ我々が求めたいのが左辺だということだけ考えてもよい。

証明

全確率の法則と確率の乗法法則により、以下の式を得る。 $$ \begin{align*} P(A)=&P(A\cap S_1)+P(A\cap S_2)+…+P(A\cap S_n) \\ =&P(S_1)P(A|S_1)+P(S_2)P(A|S_2)+…+P(S_n)P(A|S_n) \\ =& \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } \end{align*} $$ ここで両辺の逆数を取れば $$ \begin{align*} & \frac { 1 }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=\frac { 1 }{ P(A) } \\ \implies& \frac { P(A\cap S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=\frac { P(A\cap S_k) }{ P(A) } \\ \implies& \frac { P(S_k)P(A|S_k) }{ \sum _{ k=1 }^{ n }{ P(S_k)P(A|S_k) } }=P(S_k|A) \end{align*} $$

■

関連リンク

• ベイズ推論