📂数理統計学

共役事前分布

定義 ¹

事前分布と事後分布が同じ分布族に属するとき、その事前分布を共役事前分布^{conjugate prior}という。

説明

ベイジアンとは本来、事前分布がどうであれ更新を通じて母数を探し当てていくものであるが、モデルについてある程度知っていることがあれば、適切な事前分布を用いることで数学的計算を簡単にし、結果を理解しやすくすることができる。

• (1) $\text{Bin} (n , \theta)$の共役事前分布は$\theta \sim \text{Beta} (\alpha, \beta)$
• (2) $\text{Poi} ( \theta)$の共役事前分布は$\theta \sim \text{Gamma} (a, b)$
• (3) 母分散$\sigma^2$が分かっているとき、$N ( \mu , \sigma^2 )$の共役事前分布は$\mu \sim N ( \mu_{0} , \tau_{0}^2 )$
• (4) 母平均$\mu$が分かっているとき、$N ( \mu , \sigma^2 )$の共役事前分布は$\displaystyle \tau = {{1} \over {\sigma^2 }}$に対して$\tau \sim \text{Gamma} (a, b)$
• (5) $\lambda$が分かっているとき、$\text{Gamma} (a, \lambda)$の共役事前分布は$\lambda \sim \text{Gamma} (a, b)$

例

例として、二項データに対するモデル$p ( y | \theta ) = \binom{ n}{ y } \theta^{y} (1-\theta)^{n-y}$を考えてみよう：

これに対する共役事前分布$\theta \sim \text{Beta} (\alpha, \beta)$を考えてみると $$ \pi (\theta) \propto \theta^{\alpha - 1} ( 1 - \theta )^{\beta -1 } $$ すると$\theta$の事後分布は $$ p ( \theta | y ) \propto \theta^{y + \alpha -1 } (1-\theta)^{n-y + \beta -1} $$ であり、これはすなわちベータ分布$ \theta \sim \text{Beta} (y + \alpha, n - y + \beta)$を意味する。したがって$\theta$の事後平均は $$ E ( \theta | y) = {{y + \alpha} \over {n + \alpha + \beta}} $$ であるが、これは標本平均$\displaystyle {{y} \over {n}}$と事前平均$\displaystyle {{\alpha } \over {\alpha + \beta}}$の加重平均である $$ E ( \theta | y) = {{n} \over {n + \alpha + \beta}} {{y} \over {n}} + {{\alpha + \beta } \over {n + \alpha + \beta}} {{\alpha} \over {\alpha + \beta}} $$ の形として見ることもできる。

したがって、標本$n$が大きくなればなるほど事前平均の影響力は減り、頻度論的推論に近づいていくと推測できる。

上記の議論を共役事前分布という概念に焦点を当てて改めて見ると、事前分布をベータ分布として記述したことで事後分布もベータ分布として現れたため、逐次分析が非常に容易であることが確認できた。二項分布のpmfとベータ分布のpdfが似た形をしているため、数式的にも難しい部分は大きくなく、すらすらとうまく進んだのである。