📂数理統計学

ラオ-ブラックウェル-コルモゴロフ定理

要旨 ¹

正則条件：

• (R0)：確率密度関数$f$は$\theta$に対して単射である。数式で表せば次を満たす。 $$ \theta \ne \theta’ \implies f \left( x_{k} ; \theta \right) \ne f \left( x_{k} ; \theta’ \right) $$
• (R1)：確率密度関数$f$は全ての$\theta$に対して同じサポートを持つ。
• (R2)：真値$\theta_{0}$は$\Omega$の内点^{interior point}である。
• (R3)：確率密度関数$f$は$\theta$に対して2回微分可能である。
• (R4)：積分$\int f (x; \theta) dx$は積分記号の中で$\theta$に対して2回微分可能である。

パラメーター$\theta$に対して確率密度関数が$f(x; \theta)$のランダムサンプル$X_{1}, \cdots , X_{n}$が与えられ、正則条件(R0)〜(R4)を満たすとする。統計量$Y := u \left( X_{1} , \cdots , X_{n} \right)$が$E(Y) = k(\theta)$であれば $$ \operatorname{Var} (Y) \ge {{ \left[ k’(\theta) \right]^{2} } \over { n I (\theta) }} $$ このとき右辺の${{ \left[ k’(\theta) \right]^{2} } \over { n I (\theta) }}$をラオ-クレーマー下限^{rao-Cramér Lower Bound}と呼ぶ。

---

• $nI(\theta)$はサイズ$n$のランダムサンプルのフィッシャー情報である。

証明

連続型の場合の証明だが、離散型でも大差ない。

---

$k(\theta) = E(Y)$を積分形で書き下すと $$ k(\theta) = \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} u \left( x_{1}, \cdots , x_{n} \right) f \left( x_{1}; \theta \right) \cdots f \left( x_{n}; \theta \right) d x_{1} \cdots d x_{n} $$ 両辺を$\theta$で微分すると、$f$を$\theta$の関数としてみると、ログ関数の微分法から$\displaystyle \log g = {{ g' } \over { g }}$となるので $$ \begin{align*} k’(\theta) =& \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} u \left( x_{1}, \cdots , x_{n} \right) \left[ \sum_{k=1}^{n} {{ 1 } \over { f \left( x_{k} ; \theta \right) }} {{ \partial f \left( x_{k} ; \theta \right) } \over { \partial \theta }} \right] \\ & \times f \left( x_{1}; \theta \right) \cdots f \left( x_{n}; \theta \right) d x_{1} \cdots d x_{n} \\ =& \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} u \left( x_{1}, \cdots , x_{n} \right) \left[ \sum_{k=1}^{n} {{ f ' } \over { f }} \right] \\ & \times f \left( x_{1}; \theta \right) \cdots f \left( x_{n}; \theta \right) d x_{1} \cdots d x_{n} \\ =& \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} u \left( x_{1}, \cdots , x_{n} \right) \left[ \sum_{k=1}^{n} {{ \partial \log f \left( x_{k} ; \theta \right) } \over { \partial \theta }} \right] \\ & \times f \left( x_{1}; \theta \right) \cdots f \left( x_{n}; \theta \right) d x_{1} \cdots d x_{n} \end{align*} $$ 新しい確率変数$\displaystyle Z := \sum_{k=1}^{n} {{ \partial \log f \left( x_{k} ; \theta \right) } \over { \partial \theta }}$を定義すると、上記の式は次のようにすっきりと整理される。 $$ k’(\theta) = E(YZ) $$

バートレットの第一同一式： $$ E \left[ {{ \partial \log f ( X ; \theta ) } \over { \partial \theta }} \right] = 0 $$

フィッシャー情報の分散形： $$ \operatorname{Var} \left( {{ \partial \log L ( \theta ; \mathbf{X} ) } \over { \partial \theta }} \right) = n I (\theta) $$

ここで、$Z$はスコア関数の和を表すので、バートレットの同一式とフィッシャー情報の分散形により $$ \begin{align*} E(Z) =& 0 \\ \operatorname{Var}(Z) =& n I (\theta) \end{align*} $$ $k’(\theta)$を共分散形で解くと、$Y,Z$の標準偏差とピアソン相関係数$\rho$について $$ \begin{align*} k’(\theta) =& E(YZ) \\ =& E(Y)E(Z) + \rho \sigma_{Y} \sigma_{Z} \\ =& E(Y) \cdot 0 + \rho \sigma_{Y} \sqrt{n I(\theta)} \end{align*} $$ 両辺を二乗して$\rho^{2}$について整理すると $$ {{ \left[ k’(\theta) \right]^{2} } \over { \sigma_{Y}^{2} n I (\theta) }} \le \rho^{2} $$ $\rho^{2} \le 1$であり、両辺に$\sigma_{Y}^{2} = \operatorname{Var} (Y)$を掛けると $$ {{ \left[ k’(\theta) \right]^{2} } \over { n I (\theta) }} \le \operatorname{Var} (Y) $$

■

付随する結果

もし$k(\theta) = \theta$、つまり$Y$が不偏推定量であれば $$ \begin{align*} & k(\theta) = \theta \\ \implies& k’(\theta) = 1 \\ \implies& \left[ k’(\theta) \right]^{2} = 1 \end{align*} $$ それによって $$ \operatorname{Var} (Y) \ge {{ 1 } \over { n I (\theta) }} $$