📂수리통계학

중심극한 정리 증명

정리 ¹

$\left\{ X_{k} \right\}_{k=1}^{n}$ 이 iid 확률 변수들이고 확률분포 $\left( \mu, \sigma^2 \right)$를 따른다고 하면 $n \to \infty$ 일 때 $$\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)$$

---

• $\overset{D}{\to}$ 는 분포 수렴을 의미한다.

설명

통계학에선 대수의 법칙과 더불어 정말 그 명성이 자자한 정리로 꼽힌다. 수없이 듣고 쓰는 정리지만 막상 증명은 수리통계학을 배우면서 한번 해볼까말까다. 하지만 실제로는 활용도를 떠나 증명 자체가 재미있어 더더욱 값진 정리라고 할 수 있겠다.

증명

전략: 적률생성함수와 테일러 정리를 이용한 트릭을 사용한다.

---

우선 $\displaystyle Y := \sqrt{n} {{ \overline{X}_{n} - \mu } \over { \sigma }}$ 의 적률생성함수 $M(t) = E(e^{t Y}), -h<t<h$ 는 존재한다고 가정을 해야한다. 여기서 새로운 함수 $m(t) := E[e^{t(X-\mu)}] = e^{-\mu t} M(t)$ 을 정의하면 $$\begin{align*} M(t) =& E \left( e^{ t \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} } \right) \\ =& E \left( e^{ t {{ \sum_{i=1}^{n} X_i - n \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X_1 - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X_2 - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X_n - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& { \left\{ E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \right\} }^n \\ =& { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} \qquad , -h < { {t} \over {\sigma \sqrt{n} } } < h \end{align*}$$

테일러 정리: 함수 $f(x)$ 가 $[a,b]$ 에서 연속이고 $(a,b)$ 에서 $n$ 번 미분가능하면 $x_{0} \in (a,b)$ 에 대해 $\displaystyle f(x) = \sum_{k=0}^{n-1} {{( x - x_{0} )^{k}\over{ k! }}{f^{(k)}( x_{0} )}} + {(x - x_{0} )^{n}\over{ n! }}{f^{(n)}(\xi)}$ 를 만족하는 $\xi \in (a,b)$ 가 존재한다.

$n=2$ 에 대해 테일러 정리를 사용하면 다음을 만족하는 $\xi$ 가 $(-t,0)$ 혹은 $(0,t)$ 에 적어도 하나 존재한다. 따라서 $m(t)$ 는 $$m(t) = m(0) + m ' (0)t + { {m '' (\xi) t^2} \over {2} }$$ 와 같이 나타낼 수 있다. 한편 $$\begin{cases} m(0)=1 \\ m ' (0) = E(X-\mu) = 0 \\ m '' (0) = E[(X-\mu)^2] = {\sigma}^2 \end{cases}$$ 이므로 $\displaystyle m(t) = 1 + { {m '' (\xi) t^2} \over {2} }$ 이다. 여기서 트릭이 나오는데, 우변에 $\displaystyle {{\sigma^2 t^2} \over {2}}$ 를 더했다가 빼면 $$m(t) = 1 + { { \sigma^2 t^2} \over {2} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2} }$$ 이다. 다시 말해, $$M(t) = { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} = { \left\{ 1 + { { t^2} \over {2n} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2n \sigma^2 } } \right\} } ^{n}$$

이다. 테일러 정리에 따라 $\xi$ 는 $\displaystyle \left( -{ {t} \over {\sigma \sqrt{n} } },0 \right)$ 혹은 $\displaystyle \left( 0,{ {t} \over {\sigma \sqrt{n} } } \right)$ 사이에 있으므로 $n \to \infty$ 일 때 $\xi \to 0$, 따라서 $m '' (\xi) \to m '' (0) = \sigma^2$ 이다. 그렇게 $0$ 으로 수렴되는 항을 제거하면

$$\lim _{n \to \infty} M(t) = \lim _{n \to \infty} \left( 1 + { { t^2} \over {2n} } \right)^{n} = e^{t^2 / 2}$$

인데, $e^{t^2 / 2}$ 는 표준정규분포의 적률생성함수이므로

$$\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)$$

■