二項分布の十分統計量と最尤推定量
概要
一様分布に従うランダムサンプル $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim U \left( 0 , \theta \right)$ が与えられているとしよう。
$\theta$ に対する十分統計量 $T$ と最尤推定量 $\hat{\theta}$ は次の通りだ。 $$ \begin{align*} T =& \max_{k=1 , \cdots , n} X_{k} \\ \hat{\theta} =& \max_{k=1 , \cdots , n} X_{k} \end{align*} $$
証明
戦略: 一様分布の十分統計量と最尤推定量は、実用性はさておき、宿題や中間、期末試験のために数えきれないほど見る必要がある統計量だ。定義によって直接求めることができるが、これが意外と最初は簡単ではない。
位置家族の十分統計量と最尤推定量: 確率密度関数が$f_{X} \left( x ; \theta \right) = f_{X} \left( x - \theta \right)$ の位置家族から得たランダムサンプル$X_{1} , \cdots , X_{n} \sim X$ が与えられているとしよう。十分統計量と最尤推定量は
- $X$ のサポートが上に有界ならば$\max X_{k}$
- $X$ のサポートが下に有界ならば$\min X_{k}$
に依存する。
$U \left( 0 , \theta \right)$ は位置家族であり、位置家族の十分統計量と最尤推定量は補題によって簡単に推測できるが、直感的に理解できるように直接求めてみよう。
十分統計量
指示関数の積: $$ \prod_{i=1}^{n} I_{(-\infty, \theta]} \left( x_{i} \right) = I_{(-\infty, \theta]} \left( \max_{i \in [n]} x_{i} \right) $$
$$ \begin{align*} f \left( \mathbf{x} ; \theta \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) \\ =& \prod_{k=1}^{n} {{ 1 } \over { \theta }} I_{[0,\theta]} \left( x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \cdot 1 \end{align*} $$
ネイマン分解定理: ランダムサンプル $X_{1} , \cdots , X_{n}$ がパラメータ$\theta \in \Theta$に対して同じ確率質量/密度関数 $f \left( x ; \theta \right)$ を持つとする。統計量$Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ が$\theta$ の十分統計量であるのは、次を満たす非負の二つの関数$k_{1} , k_{2} \ge 0$ が存在する場合である。 $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ ただし、$k_{2}$ は$\theta$ に依存してはならない。
ネイマン分解定理に従って、$T := \max X_{k}$ は$\theta$ に対する十分統計量である。
最尤推定量
$$ L \left( \theta ; \mathbf{x} \right) = f \left( \mathbf{x} ; \theta \right) = I_{[0,\theta]} \left( \max x_{k} \right) $$ ランダムサンプルの尤度関数は上記のように求められたが、指示関数をわざわざ偏微分する必要はない。
最尤推定量の定義: 次を満たす推定量を最尤推定量maximum Likelihood Estimator、略してMLEと呼ぶ。 $$ \hat{\theta} = \argmax L \left( \theta ; \mathbf{X} \right) $$
最尤推定量の定義に基づいて考えると、尤度関数を考えることなく$\hat{\theta} \ge \max X_{k}$ のみに注目すれば良い、なぜなら$\hat{\theta} < \max X_{k}$ の場合は$L = 0$ になるからだ。この説明と定義から分かるように、最尤推定量は必ずしも$\max X_{k}$ で一意である必要はなく、$\max X_{k} + 700$ を無理に考える必要はない、$\max X_{k}$ で十分だ。
■