logo

一致推定量 📂数理統計学

一致推定量

定義 1

確率変数XXが累積分布関数F(x;θ),θΘF ( x ; \theta), \theta \in \Thetaを持つとする。X1,,XnX_{1} , \cdots , X_{n}XXから抽出されたサンプルとする場合、統計量TnT_{n}が以下を満たすならばパラメーターθ\thetaに対する一致推定量consistent estimatorと言われる。

TnPθas n T_{n} \overset{P}{\to} \theta \quad \text{as } n \to \infty


  • P\overset{P}{\to}は確率収束である。

説明

不偏推定量が正確に期待値の概念から推定量を論じるならば、一致推定量解析学の極限の概念によって…もう少し正確に言うと関数列の一様収束を通じて統計量自体がパラメーターに収束するかについて論じる。

1n1k=1n(Xk2Xn)2Pσ2🤔?1nk=1n(Xk2Xn)2Pσ2🤔! \begin{align*} {{ 1 } \over { n - 1 }} \sum_{k=1}^{n} \left( X_{k}^{2} - \overline{X}_{n} \right)^{2} \overset{P}{\to}& \sigma^{2} \qquad \cdots 🤔 ? \\ {{ 1 } \over { n }} \sum_{k=1}^{n} \left( X_{k}^{2} - \overline{X}_{n} \right)^{2} \overset{P}{\to}& \sigma^{2} \qquad \cdots 🤔 ! \end{align*} 簡単な例として、以下の定理を見れば、実際に証明プロセスでは標本分散SnS_{n}の分母は自由度(n1)(n-1)ではなくnnで定義されても問題ないことがわかる。つまり、直感的に考えた場合「どのみちnnが大きくなればnn(n1)(n-1)も同じでは?」という考えを数理的に説明するものであり、ただし、この直感を以下の定理で正当化するには歪度の存在程度は必要である点が異なる。

定理

標本分散の一致性

X1,,XnX_{1} , \cdots , X_{n}が確率分布(μ,σ2)\left( \mu, \sigma^{2} \right)に従うランダムサンプル、すなわちX1,,Xniid(μ,σ2)X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} \left( \mu, \sigma^{2} \right)であり歪度が存在する場合、標本分散Sn2S_{n}^{2}母集団分散σ2\sigma^{2}の一致推定量である: SnPσ2as n S_{n} \overset{P}{\to} \sigma^{2} \quad \text{as } n \to \infty

証明 2

X1,,XnX_{1} , \cdots , X_{n}がランダムサンプル、すなわちiidで独立であるために、標本分散SnS_{n}は以下のように表すことができる。 Sn2=1n1k=1n(Xk2Xn)2=nn1[1nk=1nXk2Xn2] \begin{align*} S_{n}^{2} =& {{ 1 } \over { n - 1 }} \sum_{k=1}^{n} \left( X_{k}^{2} - \overline{X}_{n} \right)^{2} \\ =& {{ n } \over { n - 1 }} \left[ {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - \overline{X}_{n}^{2} \right] \end{align*}

弱法則: {Xk}k=1n\left\{ X_{k} \right\}_{k=1}^{n}iid確率変数であり確率分布(μ,σ2)\left( \mu, \sigma^2 \right) に従う場合、nn \to \inftyのとき XnPμ \overline{X}_n \overset{P}{\to} \mu

連続写像定理: XnPX    g(Xn)Pg(X)X_{n} \overset{P}{\to} X \implies g \left( X_{n} \right) \overset{P}{\to} g(X) 連続関数と極限: 関数f:XYf:X \to Yについて、以下の条件は互いに同等である。

  • f:XYf : X \to Yは連続である。
  • xX, limnpn=p    limnf(pn)=f(p)\forall x \in X,\ \displaystyle \lim_{n \to \infty} p_{n} = p \implies \lim_{n \to \infty} f(p_{n}) = f(p)

値が二乗である多項式関数λ(x)=x2\lambda (x) = x^{2}連続関数であるため、nn \to \inftyの時、連続写像定理弱法則に基づき次が成立する。 Xn2Pμ2 \overline{X}_{n}^{2} \overset{P}{\to} \mu^{2}

連続写像定理は学部レベルでは理解しにくいが、解析入門で論じられる連続関数の性質と同様のものとして受け入れても問題ない。

確率収束の定義と同等条件: 確率変数XXと確率変数のシークエンス{Xn}\left\{ X_{n} \right\}が以下を満たす場合、nn \to \inftyのときXnX_{n}XXに確率収束convergence in Probabilityすると言い、XnPXX_{n} \overset{P}{\to} Xとして表される。 ε>0,limnP[XnX<ε]=1 \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| < \varepsilon \right] = 1 式に使用される際には、同等でありながらより便利な次の表現が好まれる。 ε>0,limnP[XnXε]=0 \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| \ge \varepsilon \right] = 0

チェビシェフの不等式: 確率変数XXの分散σ2<\sigma^2 < \inftyが存在する場合、μ:=E(X)\mu := E(X)と任意の正の数K>0K>0について P(XμKσ)1K2 \displaystyle P(|X-\mu| \ge K\sigma) \le {1 \over K^2}

定理の前提で歪度が存在するということは、第4中心モーメントE(X14)<E \left( X_{1}^{4} \right) < \inftyが存在することを意味し、したがって、Xk2\sum X_{k}^{2}の分散は一般性を失わずにある定数c2>0c^{2} > 0に関してX1X_{1}の標本分散の母集団分散に比例するc2σ4c^{2} \sigma^{4}として表すことができる。式で再び書くと 1nk=1nXk2(E(X12),c2σ4n) {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} \sim \left( E \left( X_{1}^{2} \right) , {{ c^{2} \sigma^{4} } \over { n }} \right) であり、任意のε>0\varepsilon > 0が与えられた場合、チェビシェフの不等式によりある正のK:=nε/cσ2K := n \varepsilon / c \sigma^{2}が存在して ε>0,P(1nk=1nXk2E(X12)Kcσ2)1K2    ε>0,P(1nk=1nXk2E(X12)ε)c2σ4n2ε2    ε>0,limnP(1nk=1nXk2E(X12)ε)=0    1nk=1nXk2PE(X12) \begin{align*} & \forall \varepsilon > 0, P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X_{1}^{2} \right) \right| \ge K c \sigma^{2} \right) \le {{ 1 } \over { K^{2} }} \\ \implies & \forall \varepsilon > 0, P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X_{1}^{2} \right) \right| \ge \varepsilon \right) \le {{ c^{2} \sigma^{4} } \over { n^{2} \varepsilon^{2} }} \\ \implies & \forall \varepsilon > 0, \lim_{n \to \infty} P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X_{1}^{2} \right) \right| \ge \varepsilon \right) = 0 \\ \implies & {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} \overset{P}{\to} E \left( X_{1}^{2} \right) \end{align*} である。要するに Sn2=nn1[1nk=1nXk2Xn2]P1[E(X12)μ2]=σ2 \begin{align*} S_{n}^{2} =& {{ n } \over { n - 1 }} \left[ {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - \overline{X}_{n}^{2} \right] \\ \overset{P}{\to}& 1 \cdot \left[ E \left( X_{1}^{2} \right) - \mu^{2} \right] = \sigma^{2} \end{align*} であり、Sn2S_{n}^{2}母集団分散σ2\sigma^{2}に対する一致推定量である。ここでn/(n1)1n / (n-1) \to 1の部分で、実際には、標本分散は適当な定数ana \ne nに対して(n+a)(n+a)としても一致推定量として問題ないことがわかる。


  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p298. ↩︎

  2. Hogg et al. (2018). Introduction to Mathematical Statistcs(8th Edition): p325. ↩︎