幾何分布の十分統計量と最尤推定量
要旨
幾何分布に従うランダムサンプル $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim \text{Geo} \left( p \right)$ が与えられたとする。$p$ に対する十分統計量 $T$ と最尤推定量 $\hat{p}$ は次のとおりである。 $$ \begin{align*} T =& \sum_{k=1}^{n} X_{k} \\ \hat{p} =& {{ n } \over { \sum_{k=1}^{n} X_{k} }} \end{align*} $$
証明
十分統計量
$$ \begin{align*} f \left( \mathbf{x} ; p \right) =& \prod_{k=1}^{n} f \left( x_{k} ; p \right) \\ =& \prod_{k=1}^{n} p \left( 1 - p \right)^{x_{k} - 1} \\ =& p^{n} \left( 1 - p \right)^{\sum_{k} x_{k} - n} \\ =& p^{n} \left( 1 - p \right)^{\sum_{k} x_{k} - n} \cdot 1 \end{align*} $$
ネイマン分解定理：ランダムサンプル $X_{1} , \cdots , X_{n}$ がパラメーター $\theta \in \Theta$ に対して同じ確率質量/密度関数 $f \left( x ; \theta \right)$ を持つとする。統計量 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ が$\theta$ の十分統計量であることは、次を満たす非負の二つの関数 $k_{1} , k_{2} \ge 0$ の存在を意味する。 $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ ただし、$k_{2}$ は$\theta$ に依存してはならない。
ネイマン分解定理により、$T := \sum_{k} X_{k}$ は$p$ に対する十分統計量である。
最尤推定量
$$ \begin{align*} \log L \left( p ; \mathbf{x} \right) =& \log f \left( \mathbf{x} ; p \right) \\ =& \log p^{n} \left( 1 - p \right)^{\sum_{k} x_{k} - n} \\ =& n \log p + \sum_{k=1}^{n} x_{k} \log \left( 1 - p \right) \end{align*} $$
ランダムサンプルの対数尤度関数は上記のとおりであり、尤度関数が最大値になるためには、$p$ に対する偏微分が $0$ になる必要がある。したがって、 $$ \begin{align*} & 0 = n {{ 1 } \over { p }} - {{ 1 } \over { 1 - p }} \left( \sum_{k=1}^{n} x_{k} - n \right) \\ \implies & {{ n } \over { p }} + {{ n } \over { 1 - p }} = {{ 1 } \over { 1 - p }} \sum_{k=1}^{n} x_{k} \\ \implies & {{ n } \over { p(1-p) }} = {{ 1 } \over { 1 - p }} \sum_{k=1}^{n} x_{k} \\ \implies & {{ 1 } \over { p }} = {{ 1 } \over { n }} \sum_{k=1}^{n} x_{k} \end{align*} $$
それゆえ、$p$ の最尤推定量 $\hat{p}$ は次のとおりである。 $$ \hat{p} = {{ n } \over { \sum_{k=1}^{n} X_{k} }} $$
■