指数分布の十分統計量と最尤推定量
定理
指数分布に従うランダムサンプル $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim \exp \left( \lambda \right)$ が与えられているとする。
$\lambda$ に関する十分統計量 $T$ と最尤推定量 $\hat{\lambda}$ は以下の通りである。 $$ \begin{align*} T =& \sum_{k=1}^{n} X_{k} \\ \hat{\lambda} =& {{ n } \over { \sum_{k=1}^{n} X_{k} }} \end{align*} $$
証明
十分統計量
$$ \begin{align*} f \left( \mathbf{x} ; \lambda \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \lambda \right) \\ =& \prod_{k=1}^{n} \lambda e^{-\lambda x_{k}} \\ =& \lambda^{n} e^{-\lambda \sum_{k} x_{k}} \\ =& \lambda^{n} e^{-\lambda \sum_{k} x_{k}} \cdot 1 \end{align*} $$
ネイマン分解定理: ランダムサンプル $X_{1} , \cdots , X_{n}$ がパラメータ $\theta \in \Theta$ に対して同じ確率質量/密度関数 $f \left( x ; \theta \right)$ を持つとする。統計量 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ が$\theta$ の十分統計量であるためには、以下を満たす非負の二つの関数 $k_{1} , k_{2} \ge 0$ が存在することである。 $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ ただし、$k_{2}$ は $\theta$ に依存してはならない。
ネイマン分解定理により、$T := \sum_{k} X_{k}$ は $\lambda$ に関する十分統計量である。
最尤推定量
$$ \begin{align*} \log L \left( \lambda ; \mathbf{x} \right) =& \log f \left( \mathbf{x} ; \lambda \right) \\ =& \log \lambda^{n} e^{-\lambda \sum_{k} x_{k}} \\ =& n \log \lambda - \lambda \sum_{k=1}^{n} x_{k} \end{align*} $$
ランダムサンプルの対数尤度関数は上記の通りで、尤度関数が最大値となるためには、$\lambda$ に対する偏微分が $0$ となる必要がある。したがって $$ \begin{align*} & 0 = n {{ 1 } \over { \lambda }} - \sum_{k=1}^{n} x_{k} \\ \implies & \lambda = {{ n } \over { \sum_{k=1}^{n} x_{k} }} \end{align*} $$
したがって、$\lambda$ の最尤推定量 $\hat{\lambda}$ は以下の通りである。 $$ \hat{\lambda} = {{ n } \over { \sum_{k=1}^{n} X_{k} }} $$
■