📂数理統計学

ラプラスの後継法則

定理 ¹

二項モデル $\displaystyle p(y | \theta) = \binom{ n }{ y} \theta^{y} (1- \theta)^{n-y}$ の事前分布が一様分布 $U (0,1)$ に従い、事後分布がベータ分布 $\beta (y+1 , n-y+1)$ に従うとするとき、$p( \theta | y ) \sim \theta^{y} (1- \theta)^{n-y}$ としよう。そうすると、これまでに得られたデータ $y$ について、新しい $\tilde{y}$ が $1$ である確率は $$ p(\tilde{y} = 1| y) = {{y+1} \over {n+2}} $$

説明

頻度主義者の視点では、$\tilde{y} = 1$ の確率はサンプルレート $\displaystyle {{y} \over {n}}$ に近くなるだろう。しかし、基本的に $n$ が大きくなるほど、$\displaystyle {{y+1} \over {n+2}} \simeq {{y} \over {n}}$ なので、サンプルが増えれば増えるほど、頻度主義者であれベイジアンであれ、結局は似たような推定をすることになる。 一方で、試行を一切行っていない状態、つまり $n=0$ の場合を考えると、$\displaystyle p(\tilde{y} = 1| y) = {{1} \over {2}}$ で事前分布である一様分布とよく合っている。これは、我々の推論が $\displaystyle \theta = {{1} \over {2}}$ から始まったことを数式で示しているのも同然だ。

証明

$$ \begin{align*} p (\tilde{y} = 1| y) =& \int_{0}^{1} p(\tilde{y} = 1| \theta , y) p (\theta | y) d \theta \\ =& \int_{0}^{1} p(\tilde{y} = 1| \theta ) p (\theta | y) d \theta \\ =& \int_{0}^{1} \theta p (\theta | y) d \theta \\ =& E( \theta | y) \end{align*} $$

$\theta p (\theta | y)$ はベータ分布 $\beta (y+1 , n-y+1)$ に従うため、

$$ E( \theta | y) = {{y+1} \over {(y+1) + (n-y+1)}} = {{y+1} \over {n+2}} $$

■