📂数理統計学

唯一の最尤推定量は十分統計量に依存する

定理

もしパラメータ $\theta$ に対する十分統計量 $T$ が存在し、$\theta$ の最尤推定量 $\hat{\theta}$ が一意に存在するなら、$\hat{\theta}$ は $T$ の関数として表される。

証明 ¹

確率密度関数 $f \left( x ; \theta \right)$ を持つランダムサンプル $X_{1} , \cdots , X_{n}$ とその十分統計量 $T := T \left( X_{1} , \cdots , X_{n} \right)$ 及び確率密度関数 $f_{t}$ を考えよう。十分統計量の定義により、その尤度関数 $L$ は $$\begin{align*} & L \left( \theta ; x_{1} , \cdots , x_{n} \right) \\ =& f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) \\ =& f_{T} \left( t \left( x_{1} , \cdots , x_{n} \right) ; \theta \right) \cdot H \left( x_{1} , \cdots , x_{n} \right) \end{align*}$$ と表される。ここで$H$ は $\theta$ に依存しない何らかの関数である。$L$ と $f_{T}$ の両方が $\theta$ に依存しているからには、最大化されると同時に最大化される。しかし、仮定ではこれらを最大化する $\theta$ が一意であるとされているので、$\theta$ の最尤推定量 $\hat{\theta}$ は $T$ に依存していなければならないということに他ならない。

■

説明

例として、一様分布 $U (0, \theta)$ に従うランダムサンプルを考えると、その十分統計量は $\max X_{k}$ であり、最尤推定量もまた $\max X_{k}$ であるため、この定理に従うことになる。