logo

二項分布の十分統計量と最尤推定量 📂確率分布論

二項分布の十分統計量と最尤推定量

概要

一様分布に従うランダムサンプル X:=(X1,⋯ ,Xn)∼U(0,θ)\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim U \left( 0 , \theta \right) が与えられているとしよう。

θ\theta に対する十分統計量 TT と最尤推定量 θ^\hat{\theta} は次の通りだ。 T=max⁡k=1,⋯ ,nXkθ^=max⁡k=1,⋯ ,nXk \begin{align*} T =& \max_{k=1 , \cdots , n} X_{k} \\ \hat{\theta} =& \max_{k=1 , \cdots , n} X_{k} \end{align*}

証明

戦略: 一様分布の十分統計量と最尤推定量は、実用性はさておき、宿題や中間、期末試験のために数えきれないほど見る必要がある統計量だ。定義によって直接求めることができるが、これが意外と最初は簡単ではない。

位置家族の十分統計量と最尤推定量: 確率密度関数がfX(x;θ)=fX(x−θ)f_{X} \left( x ; \theta \right) = f_{X} \left( x - \theta \right) の位置家族から得たランダムサンプルX1,⋯ ,Xn∼XX_{1} , \cdots , X_{n} \sim X が与えられているとしよう。十分統計量と最尤推定量は

  • XX のサポートが上に有界ならばmax⁡Xk\max X_{k}
  • XX のサポートが下に有界ならばmin⁡Xk\min X_{k}

に依存する。

U(0,θ)U \left( 0 , \theta \right) は位置家族であり、位置家族の十分統計量と最尤推定量は補題によって簡単に推測できるが、直感的に理解できるように直接求めてみよう。

十分統計量

指示関数の積: ∏i=1nI(−∞,θ](xi)=I(−∞,θ](max⁡i∈[n]xi) \prod_{i=1}^{n} I_{(-\infty, \theta]} \left( x_{i} \right) = I_{(-\infty, \theta]} \left( \max_{i \in [n]} x_{i} \right)

f(x;θ)=∏k=1nf(xk;θ)=∏k=1n1θI[0,θ](xk)=1θnI[0,θ](max⁡xk)=1θnI[0,θ](max⁡xk)⋅1 \begin{align*} f \left( \mathbf{x} ; \theta \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \theta \right) \\ =& \prod_{k=1}^{n} {{ 1 } \over { \theta }} I_{[0,\theta]} \left( x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \\ =& {{ 1 } \over { \theta^{n} }} I_{[0,\theta]} \left( \max x_{k} \right) \cdot 1 \end{align*}

ネイマン分解定理: ランダムサンプル X1,⋯ ,XnX_{1} , \cdots , X_{n} がパラメータθ∈Θ\theta \in \Thetaに対して同じ確率質量/密度関数 f(x;θ)f \left( x ; \theta \right) を持つとする。統計量Y=u1(X1,⋯ ,Xn)Y = u_{1} \left( X_{1} , \cdots , X_{n} \right) がθ\theta の十分統計量であるのは、次を満たす非負の二つの関数k1,k2≥0k_{1} , k_{2} \ge 0 が存在する場合である。 f(x1;θ)⋯f(xn;θ)=k1[u1(x1,⋯ ,xn);θ]k2(x1,⋯ ,xn) f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) ただし、k2k_{2} はθ\theta に依存してはならない。

ネイマン分解定理に従って、T:=max⁡XkT := \max X_{k} はθ\theta に対する十分統計量である。

最尤推定量

L(θ;x)=f(x;θ)=I[0,θ](max⁡xk) L \left( \theta ; \mathbf{x} \right) = f \left( \mathbf{x} ; \theta \right) = I_{[0,\theta]} \left( \max x_{k} \right) ランダムサンプルの尤度関数は上記のように求められたが、指示関数をわざわざ偏微分する必要はない。

最尤推定量の定義: 次を満たす推定量を最尤推定量maximum Likelihood estimator、略してMLEと呼ぶ。 θ^=arg max⁡L(θ;X) \hat{\theta} = \argmax L \left( \theta ; \mathbf{X} \right)

最尤推定量の定義に基づいて考えると、尤度関数を考えることなくθ^≥max⁡Xk\hat{\theta} \ge \max X_{k} のみに注目すれば良い、なぜならθ^<max⁡Xk\hat{\theta} < \max X_{k} の場合はL=0L = 0 になるからだ。この説明と定義から分かるように、最尤推定量は必ずしもmax⁡Xk\max X_{k} で一意である必要はなく、max⁡Xk+700\max X_{k} + 700 を無理に考える必要はない、max⁡Xk\max X_{k} で十分だ。

■