logo

중심극한 정리 증명 📂수리통계학

중심극한 정리 증명

정리 1

{Xk}k=1n\left\{ X_{k} \right\}_{k=1}^{n}iid 확률 변수들이고 확률분포 (μ,σ2)\left( \mu, \sigma^2 \right) 를 따른다고 하면 nn \to \infty 일 때 nXnμσDN(0,1) \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)


설명

통계학에선 대수의 법칙과 더불어 정말 그 명성이 자자한 정리로 꼽힌다. 수없이 듣고 쓰는 정리지만 막상 증명은 수리통계학을 배우면서 한번 해볼까말까다. 하지만 실제로는 활용도를 떠나 증명 자체가 재미있어 더더욱 값진 정리라고 할 수 있겠다.

증명

전략: 적률생성함수테일러 정리를 이용한 트릭을 사용한다.


우선 Y:=nXnμσ\displaystyle Y := \sqrt{n} {{ \overline{X}_{n} - \mu } \over { \sigma }} 의 적률생성함수 M(t)=E(etY),h<t<hM(t) = E(e^{t Y}), -h<t<h 는 존재한다고 가정을 해야한다. 여기서 새로운 함수 m(t):=E[et(Xμ)]=eμtM(t)m(t) := E[e^{t(X-\mu)}] = e^{-\mu t} M(t) 을 정의하면 M(t)=E(etnXnμσ)=E(eti=1nXinμσn)=E(etX1μσn)E(etX2μσn)E(etXnμσn)=E(etXμσn)E(etXμσn)E(etXμσn)={E(etXμσn)}n={m(tσn)}n,h<tσn<h \begin{align*} M(t) =& E \left( e^{ t \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} } \right) \\ =& E \left( e^{ t {{ \sum_{i=1}^{n} X_i - n \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X_1 - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X_2 - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X_n - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \\ =& { \left\{ E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \right\} }^n \\ =& { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} \qquad , -h < { {t} \over {\sigma \sqrt{n} } } < h \end{align*}

테일러 정리: 함수 f(x)f(x)[a,b][a,b] 에서 연속이고 (a,b)(a,b) 에서 nn 번 미분가능하면 x0(a,b)x_{0} \in (a,b) 에 대해 f(x)=k=0n1(xx0)kk!f(k)(x0)+(xx0)nn!f(n)(ξ)\displaystyle f(x) = \sum_{k=0}^{n-1} {{( x - x_{0} )^{k}\over{ k! }}{f^{(k)}( x_{0} )}} + {(x - x_{0} )^{n}\over{ n! }}{f^{(n)}(\xi)} 를 만족하는 ξ(a,b)\xi \in (a,b) 가 존재한다.

n=2n=2 에 대해 테일러 정리를 사용하면 다음을 만족하는 ξ\xi(t,0)(-t,0) 혹은 (0,t)(0,t) 에 적어도 하나 존재한다. 따라서 m(t)m(t)m(t)=m(0)+m(0)t+m(ξ)t22 m(t) = m(0) + m ' (0)t + { {m '' (\xi) t^2} \over {2} } 와 같이 나타낼 수 있다. 한편 {m(0)=1m(0)=E(Xμ)=0m(0)=E[(Xμ)2]=σ2 \begin{cases} m(0)=1 \\ m ' (0) = E(X-\mu) = 0 \\ m '' (0) = E[(X-\mu)^2] = {\sigma}^2 \end{cases} 이므로 m(t)=1+m(ξ)t22\displaystyle m(t) = 1 + { {m '' (\xi) t^2} \over {2} } 이다. 여기서 트릭이 나오는데, 우변에 σ2t22\displaystyle {{\sigma^2 t^2} \over {2}} 를 더했다가 빼면 m(t)=1+σ2t22+[m(ξ)σ2]t22 m(t) = 1 + { { \sigma^2 t^2} \over {2} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2} } 이다. 다시 말해, M(t)={m(tσn)}n={1+t22n+[m(ξ)σ2]t22nσ2}n M(t) = { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} = { \left\{ 1 + { { t^2} \over {2n} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2n \sigma^2 } } \right\} } ^{n}

이다. 테일러 정리에 따라 ξ\xi(tσn,0)\displaystyle \left( -{ {t} \over {\sigma \sqrt{n} } },0 \right) 혹은 (0,tσn)\displaystyle \left( 0,{ {t} \over {\sigma \sqrt{n} } } \right) 사이에 있으므로 nn \to \infty 일 때 ξ0\xi \to 0, 따라서 m(ξ)m(0)=σ2 m '' (\xi) \to m '' (0) = \sigma^2 이다. 그렇게 00 으로 수렴되는 항을 제거하면

limnM(t)=limn(1+t22n)n=et2/2 \lim _{n \to \infty} M(t) = \lim _{n \to \infty} \left( 1 + { { t^2} \over {2n} } \right)^{n} = e^{t^2 / 2}

인데, et2/2e^{t^2 / 2}표준정규분포의 적률생성함수이므로

nXnμσDN(0,1) \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)


  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): 313~315. ↩︎