📂数理統計学

中心極限定理の証明

定理 ¹

$\left\{ X_{k} \right\}_{k=1}^{n}$がiid確率変数で、確率分布$\left( \mu, \sigma^2 \right)$に従うとき、$n \to \infty$で $$\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)$$

---

• $\overset{D}{\to}$は分布収束を意味する。

解説

統計学では、大数の法則と共に非常に有名な定理として挙げられる。頻繁に聞き、使われる定理だが、実際に証明するのは数理統計学を学ぶときぐらいだ。しかし、実際には利用度を超えて、証明自体が楽しいため、より価値のある定理だと言えるだろう。

証明

戦略：モーメント生成関数とテイラーの定理を使ったトリックを使用する。

---

まず、$\displaystyle Y := \sqrt{n} {{ \overline{X}_{n} - \mu } \over { \sigma }}$のモーメント生成関数$M(t) = E(e^{t Y}), -h<t<h$が存在すると仮定する。新しい関数$m(t) := E[e^{t(X-\mu)}] = e^{-\mu t} M(t)$を定義すると $$\begin{align*} M(t) =& E \left( e^{ t \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} } \right) \\ =& E \left( e^{ t {{ \sum_{i=1}^{n} X_i - n \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X_1 - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X_2 - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X_n - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& { \left\{ E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \right\} }^n \\ =& { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} \qquad , -h < { {t} \over {\sigma \sqrt{n} } } < h \end{align*}$$

テイラーの定理：関数$f(x)$が$[a,b]$で連続であり、$(a,b)$で$n$回微分可能ならば、$x_{0} \in (a,b)$に対して$\displaystyle f(x) = \sum_{k=0}^{n-1} {{( x - x_{0} )^{k}\over{ k! }}{f^{(k)}( x_{0} )}} + {(x - x_{0} )^{n}\over{ n! }}{f^{(n)}(\xi)}$を満たす$\xi \in (a,b)$が存在する。

$n=2$にテイラーの定理を適用すると、$\xi$が$(-t,0)$または$(0,t)$の少なくとも一方を満たすことがわかる。 したがって、$m(t)$は $$m(t) = m(0) + m ' (0)t + { {m '' (\xi) t^2} \over {2} }$$ と表せる。一方、 $$\begin{cases} m(0)=1 \\ m ' (0) = E(X-\mu) = 0 \\ m '' (0) = E[(X-\mu)^2] = {\sigma}^2 \end{cases}$$ であるため、$\displaystyle m(t) = 1 + { {m '' (\xi) t^2} \over {2} }$である。ここでトリックが登場するが、右辺に$\displaystyle {{\sigma^2 t^2} \over {2}}$を加えてから引くと $$m(t) = 1 + { { \sigma^2 t^2} \over {2} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2} }$$ つまり、 $$M(t) = { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} = { \left\{ 1 + { { t^2} \over {2n} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2n \sigma^2 } } \right\} } ^{n}$$

テイラーの定理により、$\xi$は$\displaystyle \left( -{ {t} \over {\sigma \sqrt{n} } },0 \right)$または$\displaystyle \left( 0,{ {t} \over {\sigma \sqrt{n} } } \right)$の間にあるため、$n \to \infty$のとき$\xi \to 0$で、したがって$m '' (\xi) \to m '' (0) = \sigma^2$である。そのようにして収束する項を除去すると

$$\lim _{n \to \infty} M(t) = \lim _{n \to \infty} \left( 1 + { { t^2} \over {2n} } \right)^{n} = e^{t^2 / 2}$$

ここで、$e^{t^2 / 2}$は標準正規分布のモーメント生成関数であるため、

$$\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)$$

■