logo

ロケーションファミリーの十分統計量と最尤推定量 📂数理統計学

ロケーションファミリーの十分統計量と最尤推定量

定理

確率密度関数がfX(x;θ)=fX(x−θ)f_{X} \left( x ; \theta \right) = f_{X} \left( x - \theta \right)であるロケーションファミリーから得たランダムサンプルX1,⋯ ,Xn∼XX_{1} , \cdots , X_{n} \sim Xが与えられたとする。十分統計量と最尤推定量は

  • XXのサポートが上に有界ならばmax⁡Xk\max X_{k}
  • XXのサポートが下に有界ならばmin⁡Xk\min X_{k}

に依存する。

  • 確率変数のサポートとは確率密度関数の関数値が00より大きい点の集合を意味する。 SX:={x∈R:fX(x;θ)>0} S_{X} := \left\{ x \in \mathbb{R} : f_{X} (x ; \theta) > 0 \right\}
  • 有界集合とは、与えられた集合の全ての要素に対して大きいか同じ要素が存在する集合を言う。

説明

例えば一様分布U(0,θ)U \left( 0, \theta \right)からデータ 0.70.80.10.20.10.9 0.7 \\ 0.8 \\ 0.1 \\ 0.2 \\ 0.1 \\ 0.9 を得たとすると、θ\thetaの十分統計量と最尤推定量は当然最大値0.90.9だ。サポート自体がロケーションパラメータθ\thetaに依存している場合は、考えるまでもなくmin⁡Xk\min X_{k}を思い出せばいい。指数分布も同じだ。

証明

下に有界な場合だけを示そう。XXのサポートが下に有界であるということは、その確率密度関数が指示関数IIに関して次のように表されることと同等だ。 fX(x;θ)=fX(x;θ)I[θ,∞)(x) f_{X} ( x ; \theta ) = f_{X} ( x ; \theta ) I_{[\theta, \infty)} (x)

指示関数の積：∏i=1nI[θ,∞)(xi)=I[θ,∞)(min⁡i∈[n]xi) \prod_{i=1}^{n} I_{[\theta,\infty)} \left( x_{i} \right) = I_{[\theta,\infty)} \left( \min_{i \in [n]} x_{i} \right)

IIが微分可能な関数ではないので戸惑うかもしれないが、定義に基づいて考えれば難しくはない。尤度関数LLは L(θ;x)=∏k=1nf(xk;θ)I[θ,∞)(xk)=I[θ,∞)(min⁡k∈[n]xk)∏k=1nf(xk;θ) L \left( \theta ; \mathbf{x} \right) = \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) I_{[\theta, \infty)} \left( x_{k} \right) = I_{[\theta,\infty)} \left( \min_{{k} \in [n]} x_{k} \right) \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) なので、min⁡xk\min x_{k}がθ\thetaの推定量θ^\hat{\theta}より小さい場合は確実に00が乗じられる。したがって、最尤推定量はmin⁡Xk\min X_{k}に依存するしかないし、LLはX1,⋯ ,XnX_{1} , \cdots , X_{n}のジョイント確率密度関数と同じ形をしているので、ネイマン分解定理により、十分統計量もmin⁡Xk\min X_{k}に関する関数として表れなければならない。

■