一致推定量
定義 1
確率変数$X$が累積分布関数$F ( x ; \theta), \theta \in \Theta$を持つとする。$X_{1} , \cdots , X_{n}$を$X$から抽出されたサンプルとする場合、統計量$T_{n}$が以下を満たすならばパラメーター$\theta$に対する一致推定量consistent Estimatorと言われる。
$$ T_{n} \overset{P}{\to} \theta \quad \text{as } n \to \infty $$
- $\overset{P}{\to}$は確率収束である。
説明
不偏推定量が正確に期待値の概念から推定量を論じるならば、一致推定量は解析学の極限の概念によって…もう少し正確に言うと関数列の一様収束を通じて統計量自体がパラメーターに収束するかについて論じる。
$$ \begin{align*} {{ 1 } \over { n - 1 }} \sum_{k=1}^{n} \left( X_{k}^{2} - \overline{X}_{n} \right)^{2} \overset{P}{\to}& \sigma^{2} \qquad \cdots 🤔 ? \\ {{ 1 } \over { n }} \sum_{k=1}^{n} \left( X_{k}^{2} - \overline{X}_{n} \right)^{2} \overset{P}{\to}& \sigma^{2} \qquad \cdots 🤔 ! \end{align*} $$ 簡単な例として、以下の定理を見れば、実際に証明プロセスでは標本分散$S_{n}$の分母は自由度$(n-1)$ではなく$n$で定義されても問題ないことがわかる。つまり、直感的に考えた場合「どのみち$n$が大きくなれば$n$も$(n-1)$も同じでは？」という考えを数理的に説明するものであり、ただし、この直感を以下の定理で正当化するには歪度の存在程度は必要である点が異なる。
定理
標本分散の一致性
$X_{1} , \cdots , X_{n}$が確率分布$\left( \mu, \sigma^{2} \right)$に従うランダムサンプル、すなわち$X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} \left( \mu, \sigma^{2} \right)$であり歪度が存在する場合、標本分散$S_{n}^{2}$は母集団分散$\sigma^{2}$の一致推定量である： $$ S_{n} \overset{P}{\to} \sigma^{2} \quad \text{as } n \to \infty $$
証明 2
$X_{1} , \cdots , X_{n}$がランダムサンプル、すなわちiidで独立であるために、標本分散$S_{n}$は以下のように表すことができる。 $$ \begin{align*} S_{n}^{2} =& {{ 1 } \over { n - 1 }} \sum_{k=1}^{n} \left( X_{k}^{2} - \overline{X}_{n} \right)^{2} \\ =& {{ n } \over { n - 1 }} \left[ {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - \overline{X}_{n}^{2} \right] \end{align*} $$
弱法則: $\left\{ X_{k} \right\}_{k=1}^{n}$がiid確率変数であり確率分布$\left( \mu, \sigma^2 \right) $に従う場合、$n \to \infty$のとき $$ \overline{X}_n \overset{P}{\to} \mu $$
連続写像定理: $$X_{n} \overset{P}{\to} X \implies g \left( X_{n} \right) \overset{P}{\to} g(X) $$ 連続関数と極限: 関数$f:X \to Y$について、以下の条件は互いに同等である。
- $f : X \to Y$は連続である。
- $\forall x \in X,\ \displaystyle \lim_{n \to \infty} p_{n} = p \implies \lim_{n \to \infty} f(p_{n}) = f(p)$
値が二乗である多項式関数$\lambda (x) = x^{2}$は連続関数であるため、$n \to \infty$の時、連続写像定理と弱法則に基づき次が成立する。 $$ \overline{X}_{n}^{2} \overset{P}{\to} \mu^{2} $$
連続写像定理は学部レベルでは理解しにくいが、解析入門で論じられる連続関数の性質と同様のものとして受け入れても問題ない。
確率収束の定義と同等条件: 確率変数$X$と確率変数のシークエンス$\left\{ X_{n} \right\}$が以下を満たす場合、$n \to \infty$のとき$X_{n}$が$X$に確率収束convergence in Probabilityすると言い、$X_{n} \overset{P}{\to} X$として表される。 $$ \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| < \varepsilon \right] = 1 $$ 式に使用される際には、同等でありながらより便利な次の表現が好まれる。 $$ \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| \ge \varepsilon \right] = 0 $$
チェビシェフの不等式: 確率変数$X$の分散$\sigma^2 < \infty$が存在する場合、$\mu := E(X)$と任意の正の数$K>0$について $$ \displaystyle P(|X-\mu| \ge K\sigma) \le {1 \over K^2} $$
定理の前提で歪度が存在するということは、第4中心モーメント$E \left( X_{1}^{4} \right) < \infty$が存在することを意味し、したがって、$\sum X_{k}^{2}$の分散は一般性を失わずにある定数$c^{2} > 0$に関して$X_{1}$の標本分散の母集団分散に比例する$c^{2} \sigma^{4}$として表すことができる。式で再び書くと $$ {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} \sim \left( E \left( X_{1}^{2} \right) , {{ c^{2} \sigma^{4} } \over { n }} \right) $$ であり、任意の$\varepsilon > 0$が与えられた場合、チェビシェフの不等式によりある正の$K := n \varepsilon / c \sigma^{2}$が存在して $$ \begin{align*} & \forall \varepsilon > 0, P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X_{1}^{2} \right) \right| \ge K c \sigma^{2} \right) \le {{ 1 } \over { K^{2} }} \\ \implies & \forall \varepsilon > 0, P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X_{1}^{2} \right) \right| \ge \varepsilon \right) \le {{ c^{2} \sigma^{4} } \over { n^{2} \varepsilon^{2} }} \\ \implies & \forall \varepsilon > 0, \lim_{n \to \infty} P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X_{1}^{2} \right) \right| \ge \varepsilon \right) = 0 \\ \implies & {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} \overset{P}{\to} E \left( X_{1}^{2} \right) \end{align*} $$ である。要するに $$ \begin{align*} S_{n}^{2} =& {{ n } \over { n - 1 }} \left[ {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - \overline{X}_{n}^{2} \right] \\ \overset{P}{\to}& 1 \cdot \left[ E \left( X_{1}^{2} \right) - \mu^{2} \right] = \sigma^{2} \end{align*} $$ であり、$S_{n}^{2}$は母集団分散$\sigma^{2}$に対する一致推定量である。ここで$n / (n-1) \to 1$の部分で、実際には、標本分散は適当な定数$a \ne n$に対して$(n+a)$としても一致推定量として問題ないことがわかる。
■