📂数理統計学

ジェフリーズ事前分布

定義 ¹

データの分布$p( y | \theta)$に対して$\pi ( \theta ) \propto I^{1/2} ( \theta )$をジェフリーズ事前分布^{jeffreys prior}という。

---

• $I$はフィッシャー情報^{fishser Information}を意味する。 $$ I ( \theta ) = E \left[ \left( \left. {{\partial \ln p (y | \theta) } \over {\partial \theta}} \right)^2 \right| \theta \right] = E \left[ \left. - {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} \right| \theta \right] $$

説明

ラプラス事前分布$\pi (\theta) \propto 1$は母数$\theta$の事前分布としては十分であったが、$\phi = \theta^2$のような母数の関数に対しては$d \phi = 2 \theta d \theta$であるため$\displaystyle \pi (\phi ) \propto {{1} \over {\sqrt{\phi } }}$となり、$\theta$と同一の事前分布ではなくなる。ジェフリーズ事前分布はこのような不変性^invarianceの欠如を克服した事前分布であり、基本的にラプラス事前分布の上位互換である。

例

たとえばデータが指数分布$\displaystyle \exp \left( {{1} \over {\theta}} \right)$に従うとするとき、ラプラス事前分布$\displaystyle \pi ( \theta ) \propto c$には不適切な事後分布を招く問題があった。

まずジェフリーズ事前分布を求めてみると、$\displaystyle p( y | \theta ) = {{1} \over { \theta }} \exp \left( - {{ y } \over { \theta }} \right)$であるため $$ {{\partial \ln p (y | \theta) } \over {\partial \theta}} = - {{1 } \over { \theta }} + {{ y} \over { \theta^2 }} $$ もう一度$\theta$について偏微分すると、$\displaystyle p( y | \theta ) = {{1} \over { \theta }} \exp \left( - {{ y } \over { \theta }} \right)$であるため $$ {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} = {{1 } \over { \theta ^2}} - {{ 2 y} \over { \theta^3 }} $$ したがって $$ E \left[ \left. - {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} \right| \theta \right] = {{ 2 \theta } \over { \theta^3 }} - {{1 } \over { \theta ^2}} = {{1 } \over { \theta ^2}} $$ となり、ジェフリーズ事前分布$\displaystyle \pi ( \theta ) = {{1 } \over { \theta }}$を得る。

この事後分布が適切かどうかを確認するために$\displaystyle \theta = {{1} \over {z}}$とおいて定積分を求めてみると $$ \int_{0 }^{\infty} p ( \theta | y ) d \theta \propto \int_{0}^{\infty} z^2 \exp ( - y z ) {{1} \over {z^2}} dx = {{1} \over {y}} < \infty $$ である。したがってこの場合にはジェフリーズ事前分布が適切な事後分布を導いたことを確認できる。