📂数理統計学

ベイジアン・パラダイム

ビルドアップ

統計学とは、「母数を把握する方法を研究する学問」と言える。物理量を測定するように、公式や法則を通じて正確に母数を推定できれば言うことないが、現実的にそれが不可能なため、仮定と標本を利用して「母数と思われるもの」を見つけ出すだけだ。「我が国の男性の平均身長 $X$ に興味があるなら $X \sim N ( \theta , \sigma^2 )$ と仮定して $\displaystyle \hat{\theta} = \overline{x} = {{1} \over {n}} \sum_{k = 1}^{ n } x_{k}$ を求め $\theta = \hat{\theta}$ と判断するといった具合だ。このような推定法は、かなり簡単で基本的な概念に基づいている。

フリークエンティスト

私たちが持っている標本は、母集団から無作為に得られたものであり、その標本を得る方法が公正であれば、同じ大きさの標本同士を特別に区分けすることはない。もちろん、実際には異なる標本だが、標本が母集団をよく代表しているかどうかの問題は純粋に運にかかっているからだ。確かなのは、小さい標本より大きい標本の方が良いということだけだ。当然ながら、私たちが得られなかった観測値が現在の標本と大きく異なるとは考えていない。それが異なるなら統計的な分析をする意味がないからだ。このような推論は、標本と母集団が大きく異ならないという期待から出発し、標本が多ければ多いほど、その期待は確信に近づく。これまでに得られたデータだけでなく、これから得る、またはまだ得ていないデータまで考えるこの推論をフリークエンティスト推論と呼ぶ。標本の大きさ(Frequency)が大きければ大きいほど正確になるという観点から、この名前は妥当だと言えるだろう。

ベイジアン

一方、ベイジアン推論は、これまでに得た標本だけを考える。ベイズの定理を通じて、事前分布が事後分布に変わるだけだ。母数がある分布を持っていると考えるが、それが正確だとは特に仮定しない。分析を始める前に、専門家の意見や主観的な経験をもとに何らかの事前分布を想定しても構わない。新しい標本を得てその分布が変わっても気にしない。確かなのは、分析を終えたときの事後分布が、事前分布に標本を反映して得られた結果であることだけだ。

ベイジアンパラダイムとは？¹

ベイジアンパラダイムの構成は次のとおりだ：

• (1): 母数の事前分布の決定
• (2): ベイズの定理を通じた計算
• (3): 事後分布を利用した母数の推定

母数 $\theta$ の事前分布を $\pi (\theta)$、観測値を $y$ とすると、ベイズの定理により $$ p ( \theta | y ) = {{ p(y | \theta ) \pi (\theta ) } \over { p(y) }} $$ である。このとき、データが反映された母数の確率分布 $p ( \theta | y )$ を事後分布と呼ぶ。

例

簡単な例を挙げてみよう。よく約束に遅れる友人アダムがいるとする。

アダムが約束に遅れる時間が平均で10分、標準偏差が5分の正規分布に従うならば $N ( 10 , 5^2 )$、フリークエンティストとベイジアンはアダムが約束に遅れたとき、次のように言うだろう：

• フリークエンティスト:「アダムはもともと10分遅れる奴だよ。」
• ベイジアン:「アダムはいつも見ていると、だいたい10分くらい遅れるね。」

フリークエンティストはアダムが平均的に10分遅れると推論し、それがアダムの本質であるため、これまで10分くらい遅れてきて、これからも10分くらい遅れると期待する。ベイジアンは、今まで見た限りアダムが遅れる時間が10分である確率が最も高いと思うため、この度の遅れる時間も10分であろうと期待する。

一見、その話はその話だ。それもそのはず、フリークエンティストとベイジアンは、視点が異なるだけで、統計的な推論を導出している点に違いはないからだ。違いが生じるのは、例えば次の約束でアダムが時間通りに来たときだ：

• フリークエンティスト:「アダムが時間通りに来るのは、その確率が3％しかないほど珍しいケースだ。」
• ベイジアン:「アダムが早く来ることもあるんだね。次もこの時に来るかな？」

そして、次の約束でアダムが時間通りに出られるかを尋ねた場合、二人の答えは確かに異なるだろう：

• フリークエンティスト:「アダムが変わったとは思えないな。今回早く出たのは、十分に起こりうることだった。」
• ベイジアン:「アダムが遅れてくる確率は依然として高いが、時間通りに来る確率が上がったのも事実だ。」

フリークエンティストは、新しく得られた観測値が、すでに導き出された結論と合致するかのみを確認するが、ベイジアンは、既存の結論に即座にアップデートすることで、新しい事後分布を得ると見なせる。このように、順次分析が容易であることは、フリークエンティストと区別される最大の特徴であり、同時にベイジアン推論の独自の利点でもある。