ロケーションファミリーの十分統計量と最尤推定量
定理
確率密度関数が$f_{X} \left( x ; \theta \right) = f_{X} \left( x - \theta \right)$であるロケーションファミリーから得たランダムサンプル$X_{1} , \cdots , X_{n} \sim X$が与えられたとする。十分統計量と最尤推定量は
- $X$のサポートが上に有界ならば$\max X_{k}$
- $X$のサポートが下に有界ならば$\min X_{k}$
に依存する。
- 確率変数のサポートとは確率密度関数の関数値が$0$より大きい点の集合を意味する。 $$ S_{X} := \left\{ x \in \mathbb{R} : f_{X} (x ; \theta) > 0 \right\} $$
- 有界集合とは、与えられた集合の全ての要素に対して大きいか同じ要素が存在する集合を言う。
説明
例えば一様分布$U \left( 0, \theta \right)$からデータ $$ 0.7 \\ 0.8 \\ 0.1 \\ 0.2 \\ 0.1 \\ 0.9 $$ を得たとすると、$\theta$の十分統計量と最尤推定量は当然最大値$0.9$だ。サポート自体がロケーションパラメータ$\theta$に依存している場合は、考えるまでもなく$\min X_{k}$を思い出せばいい。指数分布も同じだ。
証明
下に有界な場合だけを示そう。$X$のサポートが下に有界であるということは、その確率密度関数が指示関数$I$に関して次のように表されることと同等だ。 $$ f_{X} ( x ; \theta ) = f_{X} ( x ; \theta ) I_{[\theta, \infty)} (x) $$
指示関数の積：$$ \prod_{i=1}^{n} I_{[\theta,\infty)} \left( x_{i} \right) = I_{[\theta,\infty)} \left( \min_{i \in [n]} x_{i} \right) $$
$I$が微分可能な関数ではないので戸惑うかもしれないが、定義に基づいて考えれば難しくはない。尤度関数$L$は $$ L \left( \theta ; \mathbf{x} \right) = \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) I_{[\theta, \infty)} \left( x_{k} \right) = I_{[\theta,\infty)} \left( \min_{{k} \in [n]} x_{k} \right) \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) $$ なので、$\min x_{k}$が$\theta$の推定量$\hat{\theta}$より小さい場合は確実に$0$が乗じられる。したがって、最尤推定量は$\min X_{k}$に依存するしかないし、$L$は$X_{1} , \cdots , X_{n}$のジョイント確率密度関数と同じ形をしているので、ネイマン分解定理により、十分統計量も$\min X_{k}$に関する関数として表れなければならない。
■