중심극한 정리 증명
📂수리통계학 중심극한 정리 증명 정리 { X k } k = 1 n \left\{ X_{k} \right\}_{k=1}^{n} { X k } k = 1 n 이 iid 확률 변수 들이고 확률분포 ( μ , σ 2 ) \left( \mu, \sigma^2 \right) ( μ , σ 2 ) 를 따른다고 하면 n → ∞ n \to \infty n → ∞ 일 때
n X ‾ n − μ σ → D N ( 0 , 1 )
\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)
n σ X n − μ → D N ( 0 , 1 )
→ D \overset{D}{\to} → D 는 분포 수렴 을 의미한다.설명 통계학에선 대수의 법칙 과 더불어 정말 그 명성이 자자한 정리로 꼽힌다. 수없이 듣고 쓰는 정리지만 막상 증명은 수리통계학을 배우면서 한번 해볼까말까다. 하지만 실제로는 활용도를 떠나 증명 자체가 재미있어 더더욱 값진 정리라고 할 수 있겠다.
증명 전략: 적률생성함수 와 테일러 정리 를 이용한 트릭을 사용한다.
우선 Y : = n X ‾ n − μ σ \displaystyle Y := \sqrt{n} {{ \overline{X}_{n} - \mu } \over { \sigma }} Y := n σ X n − μ 의 적률생성함수 M ( t ) = E ( e t Y ) , − h < t < h M(t) = E(e^{t Y}), -h<t<h M ( t ) = E ( e t Y ) , − h < t < h 는 존재한다고 가정을 해야한다. 여기서 새로운 함수 m ( t ) : = E [ e t ( X − μ ) ] = e − μ t M ( t ) m(t) := E[e^{t(X-\mu)}] = e^{-\mu t} M(t) m ( t ) := E [ e t ( X − μ ) ] = e − μ t M ( t ) 을 정의하면
M ( t ) = E ( e t n X ‾ n − μ σ ) = E ( e t ∑ i = 1 n X i − n μ σ n ) = E ( e t X 1 − μ σ n ) E ( e t X 2 − μ σ n ) ⋯ E ( e t X n − μ σ n ) = E ( e t X − μ σ n ) E ( e t X − μ σ n ) ⋯ E ( e t X − μ σ n ) = { E ( e t X − μ σ n ) } n = { m ( t σ n ) } n , − h < t σ n < h
\begin{align*}
M(t) =& E \left( e^{ t \sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} } \right)
\\ =& E \left( e^{ t {{ \sum_{i=1}^{n} X_i - n \mu } \over {\sigma \sqrt{n} }} } \right)
\\ =& E \left( e^{ t {{ X_1 - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X_2 - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X_n - \mu } \over {\sigma \sqrt{n} }} } \right)
\\ =& E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \cdots E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right)
\\ =& { \left\{ E \left( e^{ t {{ X - \mu } \over {\sigma \sqrt{n} }} } \right) \right\} }^n
\\ =& { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} \qquad , -h < { {t} \over {\sigma \sqrt{n} } } < h
\end{align*}
M ( t ) = = = = = = E ( e t n σ X n − μ ) E ( e t σ n ∑ i = 1 n X i − n μ ) E ( e t σ n X 1 − μ ) E ( e t σ n X 2 − μ ) ⋯ E ( e t σ n X n − μ ) E ( e t σ n X − μ ) E ( e t σ n X − μ ) ⋯ E ( e t σ n X − μ ) { E ( e t σ n X − μ ) } n { m ( σ n t ) } n , − h < σ n t < h
테일러 정리 : 함수 f ( x ) f(x) f ( x ) 가 [ a , b ] [a,b] [ a , b ] 에서 연속 이고 ( a , b ) (a,b) ( a , b ) 에서 n n n 번 미분가능하면 x 0 ∈ ( a , b ) x_{0} \in (a,b) x 0 ∈ ( a , b ) 에 대해 f ( x ) = ∑ k = 0 n − 1 ( x − x 0 ) k k ! f ( k ) ( x 0 ) + ( x − x 0 ) n n ! f ( n ) ( ξ ) \displaystyle f(x) = \sum_{k=0}^{n-1} {{( x - x_{0} )^{k}\over{ k! }}{f^{(k)}( x_{0} )}} + {(x - x_{0} )^{n}\over{ n! }}{f^{(n)}(\xi)} f ( x ) = k = 0 ∑ n − 1 k ! ( x − x 0 ) k f ( k ) ( x 0 ) + n ! ( x − x 0 ) n f ( n ) ( ξ ) 를 만족하는 ξ ∈ ( a , b ) \xi \in (a,b) ξ ∈ ( a , b ) 가 존재한다.
n = 2 n=2 n = 2 에 대해 테일러 정리를 사용하면 다음을 만족하는 ξ \xi ξ 가 ( − t , 0 ) (-t,0) ( − t , 0 ) 혹은 ( 0 , t ) (0,t) ( 0 , t ) 에 적어도 하나 존재한다.
따라서 m ( t ) m(t) m ( t ) 는
m ( t ) = m ( 0 ) + m ′ ( 0 ) t + m ′ ′ ( ξ ) t 2 2
m(t) = m(0) + m ' (0)t + { {m '' (\xi) t^2} \over {2} }
m ( t ) = m ( 0 ) + m ′ ( 0 ) t + 2 m ′′ ( ξ ) t 2
와 같이 나타낼 수 있다. 한편
{ m ( 0 ) = 1 m ′ ( 0 ) = E ( X − μ ) = 0 m ′ ′ ( 0 ) = E [ ( X − μ ) 2 ] = σ 2
\begin{cases} m(0)=1
\\ m ' (0) = E(X-\mu) = 0
\\ m '' (0) = E[(X-\mu)^2] = {\sigma}^2 \end{cases}
⎩ ⎨ ⎧ m ( 0 ) = 1 m ′ ( 0 ) = E ( X − μ ) = 0 m ′′ ( 0 ) = E [( X − μ ) 2 ] = σ 2
이므로 m ( t ) = 1 + m ′ ′ ( ξ ) t 2 2 \displaystyle m(t) = 1 + { {m '' (\xi) t^2} \over {2} } m ( t ) = 1 + 2 m ′′ ( ξ ) t 2 이다. 여기서 트릭이 나오는데, 우변에 σ 2 t 2 2 \displaystyle {{\sigma^2 t^2} \over {2}} 2 σ 2 t 2 를 더했다가 빼면
m ( t ) = 1 + σ 2 t 2 2 + [ m ′ ′ ( ξ ) − σ 2 ] t 2 2
m(t) = 1 + { { \sigma^2 t^2} \over {2} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2} }
m ( t ) = 1 + 2 σ 2 t 2 + 2 [ m ′′ ( ξ ) − σ 2 ] t 2
이다. 다시 말해,
M ( t ) = { m ( t σ n ) } n = { 1 + t 2 2 n + [ m ′ ′ ( ξ ) − σ 2 ] t 2 2 n σ 2 } n
M(t) = { \left\{ m \left( { {t} \over {\sigma \sqrt{n} } } \right) \right\} } ^{n} = { \left\{ 1 + { { t^2} \over {2n} } + { { [ m '' (\xi) - \sigma^2 ] t^2} \over {2n \sigma^2 } } \right\} } ^{n}
M ( t ) = { m ( σ n t ) } n = { 1 + 2 n t 2 + 2 n σ 2 [ m ′′ ( ξ ) − σ 2 ] t 2 } n
이다. 테일러 정리에 따라 ξ \xi ξ 는 ( − t σ n , 0 ) \displaystyle \left( -{ {t} \over {\sigma \sqrt{n} } },0 \right) ( − σ n t , 0 ) 혹은 ( 0 , t σ n ) \displaystyle \left( 0,{ {t} \over {\sigma \sqrt{n} } } \right) ( 0 , σ n t ) 사이에 있으므로 n → ∞ n \to \infty n → ∞ 일 때 ξ → 0 \xi \to 0 ξ → 0 , 따라서 m ′ ′ ( ξ ) → m ′ ′ ( 0 ) = σ 2 m '' (\xi) \to m '' (0) = \sigma^2 m ′′ ( ξ ) → m ′′ ( 0 ) = σ 2 이다. 그렇게 0 0 0 으로 수렴되는 항을 제거하면
lim n → ∞ M ( t ) = lim n → ∞ ( 1 + t 2 2 n ) n = e t 2 / 2
\lim _{n \to \infty} M(t) = \lim _{n \to \infty} \left( 1 + { { t^2} \over {2n} } \right)^{n} = e^{t^2 / 2}
n → ∞ lim M ( t ) = n → ∞ lim ( 1 + 2 n t 2 ) n = e t 2 /2
인데, e t 2 / 2 e^{t^2 / 2} e t 2 /2 는 표준정규분포 의 적률생성함수이므로
n X ‾ n − μ σ → D N ( 0 , 1 )
\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)
n σ X n − μ → D N ( 0 , 1 )
■