正規分布の十分統計量と最尤推定量
定理
正規分布に従うランダムサンプル $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim N \left( \mu , \sigma^{2} \right)$ が与えられたとする。
$\left( \mu, \sigma^{2} \right)$ に対する十分統計量 $T$ と最尤推定量 $\left( \hat{\mu}, \widehat{\sigma^{2}} \right)$ は以下のとおりである。 $$ \begin{align*} T =& \left( \sum_{k} X_{k}, \sum_{k} X_{k}^{2} \right) \\ \left( \hat{\mu}, \widehat{\sigma^{2}} \right) =& \left( {{ 1 } \over { n }} \sum_{k} X_{k}, {{ 1 } \over { n }} \sum_{k} \left( X_{k} - \overline{X} \right)^{2} \right) \end{align*} $$
証明
十分統計量
$$ \begin{align*} f \left( \mathbf{x} ; \lambda \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \lambda \right) \\ =& \prod_{k=1}^{n} {{ 1 } \over { \sqrt{2 \pi} \sigma }} \exp \left[ - {{ 1 } \over { 2 }} \left( {{ x_{k} - \mu } \over { \sigma }} \right)^{2} \right] \\ =& {{ 1 } \over { \sqrt{2 \pi}^{n} \sigma^{n} }} \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} \right] \exp \left[ {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} \mu x_{k} \right] \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \right] \\ \overset{\mu}{=}& \exp \left[ {{ \mu } \over { \sigma^{2} }} \sum_{k=1}^{n} x_{k} - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \right] \cdot {{ 1 } \over { \sqrt{2 \pi}^{n} \sigma^{n} }} \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} \right] \\ \overset{\sigma}{=}& {{ 1 } \over { \sqrt{2 \pi}^{n} \sigma^{n} }} \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} \right] \exp \left[ {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} \mu x_{k} \right] \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \right] \cdot 1 \end{align*} $$
ネイマン因数分解定理：ランダムサンプル $X_{1} , \cdots , X_{n}$ がパラメータ $\theta \in \Theta$ に対して同じ確率質量/密度関数 $f \left( x ; \theta \right)$ を持つとする。統計量 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ が$\theta$ の十分統計量であるためには、以下を満たす非負の二つの関数 $k_{1} , k_{2} \ge 0$ が存在することである。 $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ ただし、$k_{2}$ は $\theta$ に依存してはならない。
ネイマン因数分解定理によると、$T := \left( \sum_{k} X_{k}, \sum_{k} X_{k}^{2} \right)$ は $\left( \mu, \sigma^{2} \right)$ に対する十分統計量である。
最尤推定量
$$ \begin{align*} \log L \left( \mu, \sigma^{2} ; \mathbf{x} \right) =& \log f \left( \mathbf{x} ; \mu, \sigma^{2} \right) \\ =& - n \log \sigma \sqrt{2 \pi} - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} + {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} \mu x_{k} - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \end{align*} $$
ランダムサンプルの対数尤度関数は上記の通りであり、尤度関数が最大値を得るためには$\mu, \sigma$ に対する偏微分が $0$ にならなければならない。まず$\mu$ に対する偏微分が $0$ になるためには $$ \begin{align*} & 0 = {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} x_{k} - {{ 1 } \over { \sigma^{2} }} n \mu \\ \implies & \mu = {{ 1 } \over { n }} \sum_{k=1}^{n} x_{k} \end{align*} $$
したがって、$\sigma$ に関係なく、$\hat{\mu} = \sum_{k=1}^{n} X_{k} / n$ が成立し、$\sigma$ に対する偏微分が $0$ になるためには $$ \begin{align*} & 0 = - {{ n } \over { \sigma }} + {{ 1 } \over { \sigma^{3} }} \sum_{k=1}^{n} x_{k}^{2} - {{ 2 } \over { \sigma^{3} }} \sum_{k=1}^{n} \mu x_{k} + {{ 1 } \over { \sigma^{3} }} n \mu^{2} \\ \implies & n \sigma^{2} = \sum_{k=1}^{n} x_{k}^{2} - 2 \sum_{k=1}^{n} \mu x_{k} + n \mu^{2} \\ \implies & \sigma^{2} = {{ 1 } \over { n }} \sum_{k=1}^{n} \left( x_{k} - \mu \right)^{2} \end{align*} $$
したがって、$\hat{\mu} = \hat{\mu} = \sum_{k=1}^{n} X_{k} / n$ について$\widehat{\sigma^{2}} = \sum_{k=1}^{n} \left( X_{k} - \mu \right)^{2} / n$ が成立する。
■