📂数理統計学

不偏推定量とクラメール・ラオの限界

定理

正則条件:

• (R0): 確率密度関数 $f$ は $\theta$ について単射である。次の式を満たす。 $$ \theta \ne \theta’ \implies f \left( x_{k} ; \theta \right) \ne f \left( x_{k} ; \theta’ \right) $$
• (R1): 確率密度関数 $f$ は全ての $\theta$ に対して同じサポートを持つ。
• (R2): 真の値 $\theta_{0}$ は $\Omega$ の内点^{interior point}である。
• (R3): 確率密度関数 $f$ は $\theta$ に対して2回微分可能である。
• (R4): 積分 $\int f (x; \theta) dx$ は、積分の記号を交換しても $\theta$ に対して2回微分可能である。

ランダムサンプル $X_{1} , \cdots , X_{n}$ が 正則条件 (R0)〜(R4)を満たす $f (x|\theta)$ から得られたとして、尤度関数 $L (\theta | \mathbf{X} ) := \prod_{k=1}^{n} f \left( x_{k} | \theta \right)$ を定義する。もし $W \left( \mathbf{X} \right) = W \left( X_{1} , \cdots , X_{n} \right)$ が $\tau \left( \theta \right)$ の不偏推定量であれば、$W \left( \mathbf{X} \right)$ が ラオ-クラメールの下限 $\text{RC}$ を持つことは、ある関数 $a(\theta)$ に対して次が成り立つことと同等である。 $$ a \left( \theta \right) \left[ W \left( \mathbf{X} \right) - \tau (\theta) \right] = {{ \partial \log L (\theta | \mathbf{X}) } \over { \partial \theta }} $$

説明

要するに、$W \left( \mathbf{X} \right) - \tau (\theta)$ が ${{ \partial \log L (\theta | \mathbf{X}) } \over { \partial \theta }}$ に比例するとき、$\text{Var} W \left( \mathbf{X} \right) = \text{RC}$ が成立するということである。定理の証明¹ 自体はそれほど難しくないが、特定の教科書で便利に使われる論理に大きく依存するため、ここでは省略する。