📂数理統計学

ジェフリーズ事前分布

定義 ¹

データの分布$p( y | \theta)$について、$\pi ( \theta ) \propto I^{1/2} ( \theta )$をジェフリーズ事前分布^{jeffreys prior}と言う。

---

• $I$はフィッシャー情報^{fisher Information}を意味する。 $$I ( \theta ) = E \left[ \left( \left. {{\partial \ln p (y | \theta) } \over {\partial \theta}} \right)^2 \right| \theta \right] = E \left[ \left. - {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} \right| \theta \right]$$

説明

ラプラス事前分布$\pi (\theta) \propto 1$は、パラメータ$\theta$の事前分布としては十分だったが、パラメータの関数として$\phi = \theta^2$のような場合、$d \phi = 2 \theta d \theta$となり$\displaystyle \pi (\phi ) \propto {{1} \over {\sqrt{\phi } }}$となるため、$\theta$と同じ事前分布ではなくなる。ジェフリーズ事前分布はこの不変性の欠如を克服した事前分布であり、基本的にラプラス事前分布のアップグレード版である。

例

例えば、データが指数分布$\displaystyle \exp \left( {{1} \over {\theta}} \right)$に従う場合、ラプラス事前分布$\displaystyle \pi ( \theta ) \propto c$は不適切な事後分布を引き起こす問題があった。

まず、ジェフリーズ事前分布を求めると、$\displaystyle p( y | \theta ) = {{1} \over { \theta }} \exp \left( - {{ y } \over { \theta }} \right)$により $${{\partial \ln p (y | \theta) } \over {\partial \theta}} = - {{1 } \over { \theta }} + {{ y} \over { \theta^2 }}$$ もう一度$\theta$に対して偏微分すると$\displaystyle p( y | \theta ) = {{1} \over { \theta }} \exp \left( - {{ y } \over { \theta }} \right)$になり $${{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} = {{1 } \over { \theta ^2}} - {{ 2 y} \over { \theta^3 }}$$ 従って $$E \left[ \left. - {{\partial^2 \ln p (y | \theta) } \over { (\partial \theta )^2 }} \right| \theta \right] = {{ 2 \theta } \over { \theta^3 }} - {{1 } \over { \theta ^2}} = {{1 } \over { \theta ^2}}$$ となり、ジェフリーズ事前分布$\displaystyle \pi ( \theta ) = {{1 } \over { \theta }}$を得る。

この事後分布が適切か確認するために、$\displaystyle \theta = {{1} \over {z}}$と置いて定積分を求めると $$\int_{0 }^{\infty} p ( \theta | y ) d \theta \propto \int_{0}^{\infty} z^2 \exp ( - y z ) {{1} \over {z^2}} dx = {{1} \over {y}} < \infty$$ である。したがって、この場合にはジェフリーズ事前分布が適切な事後分布を導いたことが確認できる。