logo

正規分布の十分統計量と最尤推定量 📂確率分布論

正規分布の十分統計量と最尤推定量

定理

正規分布に従うランダムサンプル X:=(X1,⋯ ,Xn)∼N(μ,σ2)\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim N \left( \mu , \sigma^{2} \right) が与えられたとする。

(μ,σ2)\left( \mu, \sigma^{2} \right) に対する十分統計量 TT と最尤推定量 (μ^,σ2^)\left( \hat{\mu}, \widehat{\sigma^{2}} \right) は以下のとおりである。 T=(∑kXk,∑kXk2)(μ^,σ2^)=(1n∑kXk,1n∑k(Xk−X‾)2) \begin{align*} T =& \left( \sum_{k} X_{k}, \sum_{k} X_{k}^{2} \right) \\ \left( \hat{\mu}, \widehat{\sigma^{2}} \right) =& \left( {{ 1 } \over { n }} \sum_{k} X_{k}, {{ 1 } \over { n }} \sum_{k} \left( X_{k} - \overline{X} \right)^{2} \right) \end{align*}

証明

十分統計量

f(x;λ)=∏k=1nf(xk;λ)=∏k=1n12πσexp⁡[−12(xk−μσ)2]=12πnσnexp⁡[−12σ2∑k=1nxk2]exp⁡[1σ2∑k=1nμxk]exp⁡[−12σ2nμ2]=μexp⁡[μσ2∑k=1nxk−12σ2nμ2]⋅12πnσnexp⁡[−12σ2∑k=1nxk2]=σ12πnσnexp⁡[−12σ2∑k=1nxk2]exp⁡[1σ2∑k=1nμxk]exp⁡[−12σ2nμ2]⋅1 \begin{align*} f \left( \mathbf{x} ; \lambda \right) =& \prod_{k=1}^{n} f \left( x_{k} ; \lambda \right) \\ =& \prod_{k=1}^{n} {{ 1 } \over { \sqrt{2 \pi} \sigma }} \exp \left[ - {{ 1 } \over { 2 }} \left( {{ x_{k} - \mu } \over { \sigma }} \right)^{2} \right] \\ =& {{ 1 } \over { \sqrt{2 \pi}^{n} \sigma^{n} }} \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} \right] \exp \left[ {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} \mu x_{k} \right] \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \right] \\ \overset{\mu}{=}& \exp \left[ {{ \mu } \over { \sigma^{2} }} \sum_{k=1}^{n} x_{k} - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \right] \cdot {{ 1 } \over { \sqrt{2 \pi}^{n} \sigma^{n} }} \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} \right] \\ \overset{\sigma}{=}& {{ 1 } \over { \sqrt{2 \pi}^{n} \sigma^{n} }} \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} \right] \exp \left[ {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} \mu x_{k} \right] \exp \left[ - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \right] \cdot 1 \end{align*}

ネイマン因数分解定理：ランダムサンプル X1,⋯ ,XnX_{1} , \cdots , X_{n} がパラメータ θ∈Θ\theta \in \Theta に対して同じ確率質量/密度関数 f(x;θ)f \left( x ; \theta \right) を持つとする。統計量 Y=u1(X1,⋯ ,Xn)Y = u_{1} \left( X_{1} , \cdots , X_{n} \right) がθ\theta の十分統計量であるためには、以下を満たす非負の二つの関数 k1,k2≥0k_{1} , k_{2} \ge 0 が存在することである。 f(x1;θ)⋯f(xn;θ)=k1[u1(x1,⋯ ,xn);θ]k2(x1,⋯ ,xn) f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) ただし、k2k_{2} は θ\theta に依存してはならない。

ネイマン因数分解定理によると、T:=(∑kXk,∑kXk2)T := \left( \sum_{k} X_{k}, \sum_{k} X_{k}^{2} \right) は (μ,σ2)\left( \mu, \sigma^{2} \right) に対する十分統計量である。

最尤推定量

log⁡L(μ,σ2;x)=log⁡f(x;μ,σ2)=−nlog⁡σ2π−12σ2∑k=1nxk2+1σ2∑k=1nμxk−12σ2nμ2 \begin{align*} \log L \left( \mu, \sigma^{2} ; \mathbf{x} \right) =& \log f \left( \mathbf{x} ; \mu, \sigma^{2} \right) \\ =& - n \log \sigma \sqrt{2 \pi} - {{ 1 } \over { 2 \sigma^{2} }} \sum_{k=1}^{n} x_{k}^{2} + {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} \mu x_{k} - {{ 1 } \over { 2 \sigma^{2} }} n \mu^{2} \end{align*}

ランダムサンプルの対数尤度関数は上記の通りであり、尤度関数が最大値を得るためにはμ,σ\mu, \sigma に対する偏微分が 00 にならなければならない。まずμ\mu に対する偏微分が 00 になるためには 0=1σ2∑k=1nxk−1σ2nμ  ⟹  μ=1n∑k=1nxk \begin{align*} & 0 = {{ 1 } \over { \sigma^{2} }} \sum_{k=1}^{n} x_{k} - {{ 1 } \over { \sigma^{2} }} n \mu \\ \implies & \mu = {{ 1 } \over { n }} \sum_{k=1}^{n} x_{k} \end{align*}

したがって、σ\sigma に関係なく、μ^=∑k=1nXk/n\hat{\mu} = \sum_{k=1}^{n} X_{k} / n が成立し、σ\sigma に対する偏微分が 00 になるためには 0=−nσ+1σ3∑k=1nxk2−2σ3∑k=1nμxk+1σ3nμ2  ⟹  nσ2=∑k=1nxk2−2∑k=1nμxk+nμ2  ⟹  σ2=1n∑k=1n(xk−μ)2 \begin{align*} & 0 = - {{ n } \over { \sigma }} + {{ 1 } \over { \sigma^{3} }} \sum_{k=1}^{n} x_{k}^{2} - {{ 2 } \over { \sigma^{3} }} \sum_{k=1}^{n} \mu x_{k} + {{ 1 } \over { \sigma^{3} }} n \mu^{2} \\ \implies & n \sigma^{2} = \sum_{k=1}^{n} x_{k}^{2} - 2 \sum_{k=1}^{n} \mu x_{k} + n \mu^{2} \\ \implies & \sigma^{2} = {{ 1 } \over { n }} \sum_{k=1}^{n} \left( x_{k} - \mu \right)^{2} \end{align*}

したがって、μ^=μ^=∑k=1nXk/n\hat{\mu} = \hat{\mu} = \sum_{k=1}^{n} X_{k} / n についてσ2^=∑k=1n(Xk−μ)2/n\widehat{\sigma^{2}} = \sum_{k=1}^{n} \left( X_{k} - \mu \right)^{2} / n が成立する。

■