📂数理統計学

ラプラス事前分布

ビルドアップ

母数に関する情報がほとんどないなら、わざわざ複雑な事前分布を考える理由はない:

• 例1: 来年のある大学の統計学科の新入生の性比を推測してみよと言われたとき、統計学科をある程度知っている人であれば例年の性比を見てある程度の見当をつけることができる。しかし、まったく関係もなく関心もない人がこの質問を聞いたときは、特別な理由がない限り50:50と推測するだろう。
• 例2: ある袋の中に赤、青、緑、黄色のビー玉があるとだけ言われたとき、それ以外に何の情報もなければ、ビー玉を一つ引いたときに各色のビー玉が出る確率はただ25:25:25:25だと推測するだろう。

定義 ¹

このように極度に情報が不足した状況で用いる事前分布を無情報事前分布^{noniniformative prior}という。その中でも特に、ある分布に従うと仮定せず、とりあえず公平にすべての可能性を開いておく事前分布をラプラス事前分布^{laplace prior}という。

説明

非正則事前分布

もし母数$\theta$がある区間$(a,b)$に属するなら、その事前分布は$\displaystyle \pi (\theta) = {{1} \over {b-a}} , a < \theta < b$のように一様分布で表されるだろう。問題は$ -\infty \le \theta \le \infty$のように母数が有界でない場合である。この場合$\pi (\theta) $を一様分布とおくと$\displaystyle \int_{-\infty}^{\infty} \pi ( \theta ) d \theta = \infty$のように計算されるので、分布関数として使えるものではない。このような場合の事前分布を非正則事前分布^{improper prior}と呼ぶ。このような非正則事前分布は非正則事後分布を招きうるので、ラプラス事前分布を用いるときには細心の注意が必要である。

非正則事前分布の問題点

例えば、資料が指数分布$\displaystyle \exp \left( {{1} \over {\theta}} \right)$に従うとするとき、ラプラス事前分布として$\displaystyle \pi ( \theta ) \propto c$を考えてみることができる。

この場合$\theta$の事後分布は $$ p ( \theta | y ) \propto {{1} \over {\theta }} \exp \left( - {{y} \over {\theta }} \right) $$ である。この事後分布が正則かどうか確認するために$\displaystyle \theta = {{1} \over {z}}$とおいて定積分を求めてみると $$ \int_{0 }^{\infty} p ( \theta | y ) d \theta \propto \int_{0}^{\infty} z \exp ( - y z ) {{1} \over {z^2}} dz = \infty $$ したがって事後分布は確率分布関数として正則ではないので、別の事前分布を考えてみるべきである。

常に非正則事前分布が問題になるわけではない

とはいえ、非正則事前分布が必ず非正則事後分布を導くわけではない。例えば、資料が正規分布$N ( \theta , \sigma^2 )$に従うとすると、ラプラス事前分布として$\displaystyle \pi ( \theta ) \propto c$を考えてみることができる。この場合$\theta$の事後分布は $$ p ( \theta | y_{1} , \cdots y_{n} ) \propto \exp \left( - {{1} \over {2 \sigma^2}} \sum_{i=1}^{n} (y_{i} - \theta )^2 \right) $$ もう少し計算すると $$ p ( \theta | y_{1} , \cdots y_{n} ) \propto \exp \left( - {{n} \over {2 \sigma^2}} (\theta - \overline{y} )^2 \right) $$ なので、正則な事後分布$N ( \overline{y} , \sigma^2 / n )$を得ることができる。