📂数理統計学

ラプラス事前分布

ビルドアップ

パラメータについてほぼ情報がなければ、わざわざ複雑な事前分布を考える必要はない：

• 例1：来年のある大学の統計学部の新入生の性比を推測してみてほしいと言われた時、統計学部についてある程度知っている人なら、以前の性比を見てある程度推測できるだろう。しかし、まったく関係もなく興味もない人がこの質問を聞いた場合、特別な理由がなければ50:50と推測するだろう。
• 例2：ある袋の中に赤、青、緑、黄色のビー玉があるとだけ言われ、その他の情報がなければ、ビー玉を一つ引いた時に各色のビー玉が出る確率は単に25:25:25:25と推測するだろう。

定義 ¹

このように情報が極端に不足している状況で使用される事前分布を非情報的事前分布と呼ぶ。その中でも特にどのような分布に従うとも仮定せず、まずは公平にすべての可能性を開いた事前分布をラプラス事前分布と呼ぶ。

説明

不適切な事前分布

もしパラメータ$\theta$がある区間$(a,b)$に属するなら、その事前分布は$\displaystyle \pi (\theta) = {{1} \over {b-a}} , a < \theta < b$のように一様分布で表されるだろう。問題は$ -\infty \le \theta \le \infty$のようにパラメータがバウンドされていない場合だ。この場合、$\pi (\theta) $を一様分布として設定すると$\displaystyle \int_{-\infty}^{\infty} \pi ( \theta ) d \theta = \infty$のように計算されるため、分布関数として使えない。このような事前分布を不適切な事前分布と呼ぶ。このような不適切な事前分布は不適切な事後分布を招く可能性があるので、ラプラス事前分布を使用する際は注意が必要だ。

不適切な事前分布の問題点

例えば、データが指数分布$\displaystyle \exp \left( {{1} \over {\theta}} \right)$に従うとする場合、ラプラス事前分布として$\displaystyle \pi ( \theta ) \propto c$を考えることができる。

この場合、$\theta$の事後分布は $$ p ( \theta | y ) \propto {{1} \over {\theta }} \exp \left( - {{y} \over {\theta }} \right) $$ である。この事後分布が適切かを確認するために$\displaystyle \theta = {{1} \over {z}}$として定積分を求めると、 $$ \int_{0 }^{\infty} p ( \theta | y ) d \theta \propto \int_{0}^{\infty} z \exp ( - y z ) {{1} \over {z^2}} dz = \infty $$ よって、事後分布は確率分布関数として適切ではないので、別の事前分布を検討するべきだ。

必ずしも不適切な事前分布が問題になるわけではない

しかし、すべての不適切な事前分布が不適切な事後分布を導くわけではない。例えば、データが正規分布$N ( \theta , \sigma^2 )$に従うとするなら、ラプラス事前分布として$\displaystyle \pi ( \theta ) \propto c$を考えることができる。この場合、$\theta$の事後分布は $$ p ( \theta | y_{1} , \cdots y_{n} ) \propto \exp \left( - {{1} \over {2 \sigma^2}} \sum_{i=1}^{n} (y_{i} - \theta )^2 \right) $$ 少し計算すると、 $$ p ( \theta | y_{1} , \cdots y_{n} ) \propto \exp \left( - {{n} \over {2 \sigma^2}} (\theta - \overline{y} )^2 \right) $$ となり、適切な事後分布$N ( \overline{y} , \sigma^2 / n )$が得られる。