唯一の最尤推定量は十分統計量に依存する
定理
もしパラメータ $\theta$ に対する十分統計量 $T$ が存在し、$\theta$ の最尤推定量 $\hat{\theta}$ が一意に存在するなら、$\hat{\theta}$ は $T$ の関数として表される。
証明 1
確率密度関数 $f \left( x ; \theta \right)$ を持つランダムサンプル $X_{1} , \cdots , X_{n}$ とその十分統計量 $T := T \left( X_{1} , \cdots , X_{n} \right)$ 及び確率密度関数 $f_{t}$ を考えよう。十分統計量の定義により、その尤度関数 $L$ は $$ \begin{align*} & L \left( \theta ; x_{1} , \cdots , x_{n} \right) \\ =& f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) \\ =& f_{T} \left( t \left( x_{1} , \cdots , x_{n} \right) ; \theta \right) \cdot H \left( x_{1} , \cdots , x_{n} \right) \end{align*} $$ と表される。ここで$H$ は $\theta$ に依存しない何らかの関数である。$L$ と $f_{T}$ の両方が $\theta$ に依存しているからには、最大化されると同時に最大化される。しかし、仮定ではこれらを最大化する $\theta$ が一意であるとされているので、$\theta$ の最尤推定量 $\hat{\theta}$ は $T$ に依存していなければならないということに他ならない。
■
説明
例として、一様分布 $U (0, \theta)$ に従うランダムサンプルを考えると、その十分統計量は $\max X_{k}$ であり、最尤推定量もまた $\max X_{k}$ であるため、この定理に従うことになる。
Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p397. ↩︎