📂数理統計学

ラプラスの継起の法則

定理 ¹

二項モデル $\displaystyle p(y | \theta) = \binom{ n }{ y} \theta^{y} (1- \theta)^{n-y}$ の事前分布が一様分布 $U (0,1)$ に従い、事後分布がベータ分布 $\beta (y+1 , n-y+1)$ に従って $p( \theta | y ) \sim \theta^{y} (1- \theta)^{n-y}$ であるとしよう。すると、これまでに得られたデータ $y$ に対して、新しい $\tilde{y}$ が $1$ である確率は $$ p(\tilde{y} = 1| y) = {{y+1} \over {n+2}} $$

説明

頻度主義者の観点から見ると、$\tilde{y} = 1$ である確率はその標本比率 $\displaystyle {{y} \over {n}}$ に近いだろう。ところが基本的に $n$ が大きくなればなるほど $\displaystyle {{y+1} \over {n+2}} \simeq {{y} \over {n}}$ であるから、頻度主義者であれベイズ主義者であれ、標本が増えれば結局似たような推定を行うことになる。 一方、試行をまったく行っていない状態、すなわち $n=0$ の場合を考えてみると $\displaystyle p(\tilde{y} = 1| y) = {{1} \over {2}}$ となり、事前分布である一様分布とよく合致する。これはすなわち、我々の推論が $\displaystyle \theta = {{1} \over {2}}$ から始まったことを数式的に示すものでもある。

証明

$$ \begin{align*} p (\tilde{y} = 1| y) =& \int_{0}^{1} p(\tilde{y} = 1| \theta , y) p (\theta | y) d \theta \\ =& \int_{0}^{1} p(\tilde{y} = 1| \theta ) p (\theta | y) d \theta \\ =& \int_{0}^{1} \theta p (\theta | y) d \theta \\ =& E( \theta | y) \end{align*} $$

$\theta p (\theta | y)$ はベータ分布 $\beta (y+1 , n-y+1)$ に従うので、

$$ E( \theta | y) = {{y+1} \over {(y+1) + (n-y+1)}} = {{y+1} \over {n+2}} $$

■