📂数理統計学

中心極限定理の証明

定理 ¹

$\left\{ X_{k} \right\}_{k=1}^{n}$がiidな確率変数であり、確率分布$\left( \mu, \sigma^2 \right) $に従うとすると、$n \to \infty$のとき $$ \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1) $$

---

• $\overset{D}{\to}$は分布収束を意味する。

説明

統計学では大数の法則とともに、実にその名声が高い定理に数えられる。数え切れないほど聞き、使う定理だが、いざ証明となると数理統計学を学ぶ間に一度やってみるかどうかである。しかし実際には、活用度を離れて証明そのものが面白く、なおさら価値ある定理だと言えるだろう。

証明

戦略：積率母関数とテイラーの定理を用いたトリックを使う。

---

まず、$\displaystyle Y := \sqrt{n} {{ \overline{X}_{n} - \mu } \over { \sigma }}$の積率母関数$M(t) = E(e^{t Y}), -h<t<h$が存在すると仮定しなければならない。ここで新しい関数$m(t) := E[e^{t(X-\mu)}] = e^{-\mu t} M(t)$を定義すると $$ \begin{align*} M(t) =& E \left( e^{ t \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} } \right) \\ =& E \left( e^{ t {{ \sum_{i=1}^{n} X_i - n \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X_1 - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X_2 - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X_n - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& { \left\{ E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \right\} }^n \\ =& { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} \qquad , -h < { {t} \over {\sigma \sqrt{n} } } < h \end{align*} $$

テイラーの定理：関数$f(x)$が$[a,b]$で連続であり、$(a,b)$で$n$回微分可能ならば、$x_{0} \in (a,b)$に対して$\displaystyle f(x) = \sum_{k=0}^{n-1} {{( x - x_{0} )^{k}\over{ k! }}{f^{(k)}( x_{0} )}} + {(x - x_{0} )^{n}\over{ n! }}{f^{(n)}(\xi)}$を満たす$\xi \in (a,b)$が存在する。

$n=2$に対してテイラーの定理を使うと、次を満たす$\xi$が$(-t,0)$あるいは$(0,t)$に少なくとも一つ存在する。 したがって$m(t)$は $$ m(t) = m(0) + m ' (0)t + { {m '' (\xi) t^2} \over {2} } $$ のように表せる。一方、 $$ \begin{cases} m(0)=1 \\ m ' (0) = E(X-\mu) = 0 \\ m '' (0) = E[(X-\mu)^2] = {\sigma}^2 \end{cases} $$ であるから、$\displaystyle m(t) = 1 + { {m '' (\xi) t^2} \over {2} }$である。ここでトリックが出てくるのだが、右辺に$\displaystyle {{\sigma^2 t^2} \over {2}}$を加えてから引くと $$ m(t) = 1 + { { \sigma^2 t^2} \over {2} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2} } $$ である。言い換えると、 $$ M(t) = { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} = { \left\{ 1 + { { t^2} \over {2n} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2n \sigma^2 } } \right\} } ^{n} $$

である。テイラーの定理により、$\xi$は$\displaystyle \left( -{ {t} \over {\sigma \sqrt{n} } },0 \right)$あるいは$\displaystyle \left( 0,{ {t} \over {\sigma \sqrt{n} } } \right) $の間にあるので、$n \to \infty$のとき$\xi \to 0$、したがって$ m '' (\xi) \to m '' (0) = \sigma^2$である。そのように$0$へ収束する項を除去すると

$$ \lim _{n \to \infty} M(t) = \lim _{n \to \infty} \left( 1 + { { t^2} \over {2n} } \right)^{n} = e^{t^2 / 2} $$

であり、$e^{t^2 / 2}$は標準正規分布の積率母関数であるから、

$$ \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1) $$

■