📂数理統計学

共役事前分布

定義 ¹

事前分布と事後分布が同じ分布族に属している場合、事前分布を共役事前分布^{conjugate Prior}と呼ぶ。

説明

ベイズ推定は本来、事前分布がどうであれ更新を通じてパラメーターを見つけるものだが、モデルについてある程度知っているならば、適切な事前分布を使用して数学的計算を簡単にし、結果を理解しやすくすることができる。

• (1) $\text{Bin} (n , \theta)$ の共役事前分布は $\theta \sim \text{Beta} (\alpha, \beta)$
• (2) $\text{Poi} ( \theta)$ の共役事前分布は $\theta \sim \text{Gamma} (a, b)$
• (3) 母分散 $\sigma^2$ が分かっている場合、$N ( \mu , \sigma^2 )$ の共役事前分布は $\mu \sim N ( \mu_{0} , \tau_{0}^2 )$
• (4) 母平均 $\mu$ が分かっている場合、$N ( \mu , \sigma^2 )$ の共役事前分布は $\displaystyle \tau = {{1} \over {\sigma^2 }}$ に対して $\tau \sim \text{Gamma} (a, b)$
• (5) $\lambda$ が分かっている場合、$\text{Gamma} (a, \lambda)$ の共役事前分布は $\lambda \sim \text{Gamma} (a, b)$

例

例えば、二項データに対するモデル $p ( y | \theta ) = \binom{ n}{ y } \theta^{y} (1-\theta)^{n-y}$ を考えてみよう：

その共役事前分布 $\theta \sim \text{Beta} (\alpha, \beta)$ を考えてみると $$ \pi (\theta) \propto \theta^{\alpha - 1} ( 1 - \theta )^{\beta -1 } $$ すると、$\theta$ の事後分布は $$ p ( \theta | y ) \propto \theta^{y + \alpha -1 } (1-\theta)^{n-y + \beta -1} $$ となり、これはベータ分布 $ \theta \sim \text{Beta} (y + \alpha, n - y + \beta)$ を意味している。したがって、$\theta$ の事後平均は $$ E ( \theta | y) = {{y + \alpha} \over {n + \alpha + \beta}} $$ であり、これは標本平均 $\displaystyle {{y} \over {n}}$ と事前平均 $\displaystyle {{\alpha } \over {\alpha + \beta}}$ の加重平均の形とも見られる。 $$ E ( \theta | y) = {{n} \over {n + \alpha + \beta}} {{y} \over {n}} + {{\alpha + \beta } \over {n + \alpha + \beta}} {{\alpha} \over {\alpha + \beta}} $$

したがって、標本 $n$ が大きくなるほど、事前平均の影響力は減少し、頻度主義者の推論に近づくと考えられる。

共役事前分布という概念に再び焦点を当ててみると、事前分布をベータ分布で記述し、事後分布もベータ分布で表れたため、逐次分析が非常に容易であることが確認できた。二項分布のpmfとベータ分布のpdfが似ているため、数式で難しい部分はほとんどなく、スムーズに進む。