📂数理統計学

ベイジアンパラダイム

ビルドアップ

統計学とは「母数を把握する方法を研究する学問」であると言える。ある物理量を測定するように公式や法則を通じて正確に母数を推定できれば申し分ないが、現実的にそれが不可能であるため、仮定と標本を用いて「母数と予想されるもの」を見つけ出すだけである。韓国男性の身長$X$に関心があるなら$X \sim N ( \theta , \sigma^2 )$と仮定し、$\displaystyle \hat{\theta} = \overline{x} = {{1} \over {n}} \sum_{k = 1}^{ n } x_{k}$を求めて$\theta = \hat{\theta}$と把握するという具合である。このような推定はかなり容易で単純な概念に基づいている。

フリークエンティスト

我々が持つ標本は母集団から任意に得たものであり、どの標本を得たにせよその方式が公正であるならば、同じ大きさの標本同士には特別な区別を設けない。もちろん実際には異なる標本ではあるが、標本が母集団をよく代表しているかという問題は純粋に運にかかっているためである。確実なのは小さな標本よりは大きな標本の方が良いということだけである。当然ながら我々が得られなかった観測値であっても、今の標本と大きく異なるとは考えない。ただ我々が得られなかっただけであって、それらの観測値もまた現在の標本と似ていないなら統計的な分析をする意味がないためである。このような推論は標本と母集団が大きく異ならないという期待から出発し、標本が多いほど期待は確信に近づく。このように、これまで得たデータだけでなく、これから得る、あるいはまだ得ていないデータまで考える推論をフリークエンティスト推論^{frequentist inference}という。標本の大きさ(Frequency)が大きければ大きいほど正確になるという観点から見たとき、このような命名は妥当であると言えるだろう。

ベイジアン

一方、ベイジアン推論^{Bayesian inference}はただ現在までに得た標本のみを考える。ベイズの定理を通じて事前分布が事後分布に変わるだけである。母数が何らかの分布を持っているとは考えるが、特にそれが正確であるとは仮定しない。分析を始める前に専門家の見解や主観的な経験をもってどのような事前分布を想定しても構わない。新しい標本を得てその分布が変わったとしても気にしない。これから得るデータが現在までの考えと大きく異なっても、ただそのように更新する。確実なのは分析を終えたときの事後分布が事前分布に標本を反映して得た結果であるということだけである。

ベイジアンパラダイムとは? ¹

ベイジアンパラダイムの構成は次の通りである:

• (1): 母数の事前分布の決定
• (2): ベイズの定理を通じた計算
• (3): 事後分布を用いた母数の推定

母数$\theta$の事前分布を$\pi (\theta)$、観測値を$y$とすると、ベイズの定理により $$ p ( \theta | y ) = {{ p(y | \theta ) \pi (\theta ) } \over { p(y) }} $$ である。このときデータが反映された母数の確率分布$p ( \theta | y )$を事後分布と呼ぶ。

例

一つの簡単な例を挙げて考えてみよう。約束によく遅れる友人アダムがいるとしよう。

アダムが約束を破る時間が平均10分、標準偏差5分の正規分布 $N ( 10 , 5^2 )$に従うならば、同じデータをもってフリークエンティストとベイジアンはアダムが約束に遅れたとき次のように言うだろう:

• フリークエンティスト: 「アダムはもともと10分ずつ遅れる奴なんだ。」
• ベイジアン: 「アダムは見るといつも10分くらい遅れるな。」

フリークエンティストはアダムが遅れる時間が平均的に10分であると推論し、それがアダムの本質であるためこれまで10分ほど遅れてきて、これからも10分ほど遅れるものと期待する。ベイジアンは今まで見たところアダムが遅れる時間が10分である確率が最も高いと考えるため、今回遅れる時間も10分であると期待する。

一見するとどちらも同じことを言っている。それもそのはず、フリークエンティストとベイジアンは観点が異なるだけで統計的な推論を出すという点には違いがないためである。違いが生じるのは次の約束でアダムが時間ぴったりに合わせてきたときである:

• フリークエンティスト: 「アダムが時間通りに来るのは、その確率が3%にも満たないほど稀なケースではある。」
• ベイジアン: 「アダムが早く来ることもあるんだな。次もこの時間に来るだろうか?」

そして次の約束、アダムが時間通りに出てこられるか尋ねるならば、二人の答えは確実に異なるだろう:

• フリークエンティスト: 「アダムが変わったとは見なしにくい。今回早く出てきたのは十分に起こり得ることだった。」
• ベイジアン: 「アダムが遅く出てくる確率は依然として高いが、時間通りに合わせて出てくる確率が上がったこともまた事実だ。」

フリークエンティストは新たに得た観測値がすでに下した結論に合致するかどうかを確認するだけだが、ベイジアンは既存に持っていた結論に即座に更新することで新しい事後分布を求めたものと見ることができる。このように逐次分析^{sequential analysis}が容易であるということは、フリークエンティストと区別される最大の特徴であると同時にベイジアン推論の固有の長所である。