十分統計量
📂数理統計学十分統計量
定義
数式的な定義
パラメータθ∈Θに対するランダムサンプルX1,⋯,Xnの確率質量/密度関数をf(x;θ)、統計量Y1:=u1(X1,⋯,Xn)の確率質量/密度関数をfY1(y1;θ)とする。
θ∈Θに依存しないH(x1,⋯,xn)に対して
fY1(u1(x1,⋯,xn);θ)f(x1;θ)⋯f(xn;θ)=H(x1,⋯,xn)
であれば、Y1をθに対する十分統計量という。
一般的な定義
統計量T(X)が、与えられたサンプルのX条件付き確率分布がパラメータθに依存しない場合、T(X)をθに対する十分統計量という。
説明
定義の数式が意味するのは、直感的に見ると、分子と分母でθがキャンセルされること―つまり十分統計量Y1が、ランダムサンプルX1,⋯,Xnの情報を正確に保持しているという意味になるだろう。十分統計量の「十分」とは、θに関する情報が「十分」に与えられていると受け取れば良く、十分統計量を除いた後は、θに関する情報が全く残ってはいけない。
十分統計量を理解するために、以下の定理を用いよう。
ネイマン分解定理: ランダムサンプルX1,⋯,Xnが、パラメータθ∈Θに対して同じ確率質量/密度関数f(x;θ)を持つとする。統計量Y=u1(X1,⋯,Xn)がθの十分統計量であるためには、次を満たす非負の二つの関数k1,k2≥0が存在することである。
f(x1;θ)⋯f(xn;θ)=k1[u1(x1,⋯,xn);θ]k2(x1,⋯,xn)
ただし、k2はθに依存してはならない。
響かない例
X1,⋯,Xn∼N(μ,σ2)
経験的に、十分統計量は、なぜそんなものを計算するのか、理解することから始める必要がある。典型的に響かない例として、正規分布N(μ,σ2)の母平均μに対する十分統計量を見ることだ。分解定理によれば、μの十分統計量は
k=1∏nf(xk;μ)=====k=1∏nσ2π1exp(−2σ2(xi−μ)2)(σ2π1)nexp(−k=1∑n2σ2(xi−μ)2)(σ2π1)nexp(−k=1∑n2σ2xi2)exp(−k=1∑n2σ2(2xi−μ2))(σ2π1)nexp(−k=1∑n2σ2xi2)⋅exp(−σ21k=1∑nxi+2 n(μ/σ)2)k2(x1,⋯,xn)⋅k1[u1(x1,⋯,xn);μ]
であり、サンプル和∑k=1nXkであろうと、分子分母にnを掛けてサンプル平均Xになろうと、関係ない。直感に従って、μの十分統計量として、その不偏推定量であり、一致推定量であり、最尤推定量でもあるサンプル平均が出てきたのは良い。数式的には理解できる。しかし、それが一体何を意味するのか、感じることは難しいだろう。
響く例
X1,⋯,Xn∼U(0,θ) with f(x;θ)={10,if x∈(0,θ),otherwise=θ1I(0,θ)(x)
例えば、最大値のパラメータがθである一様分布から得られたランダムサンプルを考えてみよう。実際の実現が
2.31.21.70.11.1
であり、これ以上のサンプルを得られない場合、一様分布U(a,b)の母平均が2b+aであるため、次のような推定量を考えることができる。
2θ^+0=n∑kxk⟹θ^=?n2∑kxk
数理統計学的にそんなに悪くない推測のようだ。実際、このデータで計算されたサンプル平均の2倍は2.16で、かなりもっともらしい。しかし、2.3がサンプルにあることを考えると、θ=2.16であるはずがない。どう考えても、θは2.3以上でなければならず、直感的に見て、θに対する合理的な推定は、単純にθ^=2.3になる。今のサンプルを見たとき、2.3より大きいと考える理由が全くないからだ。さあ、実際に十分統計量を探してみよう。
指示関数の積: i=1∏nI(−∞,θ](xi)=I(−∞,θ](i∈[n]maxxi)
この補題と分解定理により考えると、θに対する十分統計量は
k=1∏nf(xk;μ)===k=1∏nθ1I(0,θ)(xk)θn1I(0,θ)(maxxk)⋅1k1[u1(x1,⋯,xn);θ]k2(x1,⋯,xn)
であるため、サンプルの最大値maxkXk=X(n)が十分となる。これが意味するのは、θに関する情報を考えるとき、他のサンプルは必要なく、maxkXkだけを考えれば「十分」であるということだ。
このアイデアは、データをたくさん引き出してパラメータを推定し、それをどこかに近似する考え方とは全く異なる。これは、直感的な推測に対して、数学と形式でアプローチする統計的推論であり、これを通じて、統計学のさらに深い世界に入れる。
最小十分統計量
響く例で、maxkXkがθに対する十分統計量であることを直感と照らし合わせて確認した。これ以上の十分統計量はないと見えるが、最小十分統計量に関する議論がその答えとなるだろう。