一致推定量
📂数理統計学一致推定量
定義
確率変数Xが累積分布関数F(x;θ),θ∈Θを持つとする。X1,⋯,XnをXから抽出されたサンプルとする場合、統計量Tnが以下を満たすならばパラメーターθに対する一致推定量consistent estimatorと言われる。
Tn→Pθas n→∞
- →Pは確率収束である。
説明
不偏推定量が正確に期待値の概念から推定量を論じるならば、一致推定量は解析学の極限の概念によって…もう少し正確に言うと関数列の一様収束を通じて統計量自体がパラメーターに収束するかについて論じる。
n−11k=1∑n(Xk2−Xn)2→Pn1k=1∑n(Xk2−Xn)2→Pσ2⋯🤔?σ2⋯🤔!
簡単な例として、以下の定理を見れば、実際に証明プロセスでは標本分散Snの分母は自由度(n−1)ではなくnで定義されても問題ないことがわかる。つまり、直感的に考えた場合「どのみちnが大きくなればnも(n−1)も同じでは?」という考えを数理的に説明するものであり、ただし、この直感を以下の定理で正当化するには歪度の存在程度は必要である点が異なる。
定理
標本分散の一致性
X1,⋯,Xnが確率分布(μ,σ2)に従うランダムサンプル、すなわちX1,⋯,Xn∼iid(μ,σ2)であり歪度が存在する場合、標本分散Sn2は母集団分散σ2の一致推定量である:
Sn→Pσ2as n→∞
証明
X1,⋯,Xnがランダムサンプル、すなわちiidで独立であるために、標本分散Snは以下のように表すことができる。
Sn2==n−11k=1∑n(Xk2−Xn)2n−1n[n1k=1∑nXk2−Xn2]
弱法則: {Xk}k=1nがiid確率変数であり確率分布(μ,σ2)に従う場合、n→∞のとき
Xn→Pμ
連続写像定理:
Xn→PX⟹g(Xn)→Pg(X)
連続関数と極限: 関数f:X→Yについて、以下の条件は互いに同等である。
- f:X→Yは連続である。
- ∀x∈X, n→∞limpn=p⟹n→∞limf(pn)=f(p)
値が二乗である多項式関数λ(x)=x2は連続関数であるため、n→∞の時、連続写像定理と弱法則に基づき次が成立する。
Xn2→Pμ2
連続写像定理は学部レベルでは理解しにくいが、解析入門で論じられる連続関数の性質と同様のものとして受け入れても問題ない。
確率収束の定義と同等条件: 確率変数Xと確率変数のシークエンス{Xn}が以下を満たす場合、n→∞のときXnがXに確率収束convergence in Probabilityすると言い、Xn→PXとして表される。
∀ε>0,n→∞limP[∣Xn−X∣<ε]=1
式に使用される際には、同等でありながらより便利な次の表現が好まれる。
∀ε>0,n→∞limP[∣Xn−X∣≥ε]=0
チェビシェフの不等式: 確率変数Xの分散σ2<∞が存在する場合、μ:=E(X)と任意の正の数K>0について
P(∣X−μ∣≥Kσ)≤K21
定理の前提で歪度が存在するということは、第4中心モーメントE(X14)<∞が存在することを意味し、したがって、∑Xk2の分散は一般性を失わずにある定数c2>0に関してX1の標本分散の母集団分散に比例するc2σ4として表すことができる。式で再び書くと
n1k=1∑nXk2∼(E(X12),nc2σ4)
であり、任意のε>0が与えられた場合、チェビシェフの不等式によりある正のK:=nε/cσ2が存在して
⟹⟹⟹∀ε>0,P(n1k=1∑nXk2−E(X12)≥Kcσ2)≤K21∀ε>0,P(n1k=1∑nXk2−E(X12)≥ε)≤n2ε2c2σ4∀ε>0,n→∞limP(n1k=1∑nXk2−E(X12)≥ε)=0n1k=1∑nXk2→PE(X12)
である。要するに
Sn2=→Pn−1n[n1k=1∑nXk2−Xn2]1⋅[E(X12)−μ2]=σ2
であり、Sn2は母集団分散σ2に対する一致推定量である。ここでn/(n−1)→1の部分で、実際には、標本分散は適当な定数a=nに対して(n+a)としても一致推定量として問題ないことがわかる。
■