스튜던트의 정리 증명
📂수리통계학 스튜던트의 정리 증명 정리 확률 변수 X 1 , ⋯ , X n X_{1} , \cdots , X_{n} X 1 , ⋯ , X n iid 로 정규분포 N ( μ , σ 2 ) N\left( \mu,\sigma^{2} \right) N ( μ , σ 2 )
(a):
X ‾ ∼ N ( μ , σ 2 n )
\overline{X} \sim N\left( \mu , { {\sigma^2} \over {n} } \right)
X ∼ N ( μ , n σ 2 ) (b):
X ‾ ⊥ S 2
\overline{X} \perp S^2
X ⊥ S 2 (c):
( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 )
(n-1) { {S^2} \over {\sigma^2} } \sim \chi^2 (n-1)
( n − 1 ) σ 2 S 2 ∼ χ 2 ( n − 1 ) (d):
T = X ‾ − μ S / n ∼ t ( n − 1 )
T = { {\overline{X} - \mu } \over {S / \sqrt{n}} } \sim t(n-1)
T = S / n X − μ ∼ t ( n − 1 ) 표뵨 평균 X ‾ \overline{X} X 표본 분산 S 2 S^{2} S 2 X ‾ : = 1 n ∑ k = 1 n X k S 2 : = 1 n − 1 ∑ k = 1 n ( X k − X ‾ ) 2
\overline{X} := {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}
\\ S^{2} := {{ 1 } \over { n-1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X} \right)^{2}
X := n 1 k = 1 ∑ n X k S 2 := n − 1 1 k = 1 ∑ n ( X k − X ) 2
설명 통계학을 하는 사람들은 당연한듯 쓰고 있지만 사실 여기에도 이름이 있다. 네 개의 파트로 나뉘어져 있어 구체적으로 인용하기도 어려운 것도 한몫했다.
(b)는 당연하다면 당연하고 이상하다면 이상한 사실인데, 표본 평균이든 표본 분산이든 둘 다 똑같은 데이터에서 나왔음에도 불구하고 독립이라는 점이 그렇다.
소표본에 대한 모평균 추론 스튜던트 정리의 증명은 모평균에 대한 소표본 가설검정 의 유도 그 자체다.
증명 (a) X ‾ = ( X 1 + X 2 + ⋯ + X n ) n \displaystyle \overline{X} = { { (X_1 + X_2 + \cdots + X_n )} \over {n}} X = n ( X 1 + X 2 + ⋯ + X n ) X ‾ ∼ N ( μ , 1 n σ 2 )
\overline{X} \sim N \left( \mu, {{1} \over {n}} \sigma^2 \right)
X ∼ N ( μ , n 1 σ 2 )
■
(b) 0 \mathbf{0} 0 영벡터 를 나타낸다.1 = ( 1 , ⋯ , 1 ) = [ 1 ⋮ 1 ] \mathbf{1} = (1, \cdots , 1) = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix} 1 = ( 1 , ⋯ , 1 ) = 1 ⋮ 1 1 1 1 벡터 를 나타낸다.I I I 항등행렬 을 나타낸다.A T A^{T} A T A A A 전치행렬 을 나타낸다.v : = 1 n 1 \displaystyle \mathbf{v} := {{ 1 } \over { n }} \mathbf{1} v := n 1 1
랜덤 벡터 X : = ( X 1 , ⋯ , X n ) X := \left( X_{1} , \cdots , X_{n} \right) X := ( X 1 , ⋯ , X n ) 다변량정규분포 를 따르며
X ‾ = 1 n ( X 1 + ⋯ + X n ) = 1 n [ 1 ⋯ 1 ] [ X 1 ⋮ X n ] = 1 n 1 T X = v T X
\begin{align*}
\overline{X} =& {{ 1 } \over { n }} \left( X_{1} + \cdots + X_{n} \right)
\\ &=
{{ 1 } \over { n }} \begin{bmatrix} 1 & \cdots & 1 \end{bmatrix} \begin{bmatrix} X_{1} \\ \vdots \\ X_{n} \end{bmatrix}
\\ =& {{ 1 } \over { n }} \mathbf{1}^{T} \mathbf{X}
\\ =& \mathbf{v}^{T} \mathbf{X}
\end{align*}
X = = = n 1 ( X 1 + ⋯ + X n ) = n 1 [ 1 ⋯ 1 ] X 1 ⋮ X n n 1 1 T X v T X
이제 랜덤 벡터 Y : = ( X 1 − X ‾ , ⋯ , X n − X ‾ ) \mathbf{Y} := \left( X_{1} - \overline{X} , \cdots , X_{n} - \overline{X} \right) Y := ( X 1 − X , ⋯ , X n − X ) W \mathbf{W} W W = [ X ‾ Y ] = [ v T I − 1 v T ] X
\mathbf{W} = \begin{bmatrix} \overline{X} \\ \mathbf{Y} \end{bmatrix} = \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \mathbf{X}
W = [ X Y ] = [ v T I − 1 v T ] X
W \mathbf{W} W 선형변환 된 것이므로 여전히 다변량정규분포를 따르며, 그 모평균 벡터는 위 등식에 기대값 을 취한
E W = [ v T I − 1 v T ] μ 1 = [ μ 0 n ]
E \mathbf{W} = \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \mu \mathbf{1} = \begin{bmatrix} \mu \\ \mathbf{0}_{n} \end{bmatrix}
E W = [ v T I − 1 v T ] μ 1 = [ μ 0 n ] 공분산행렬 Σ \Sigma Σ Σ = [ v T I − 1 v T ] σ 2 I [ v T I − 1 v T ] T = σ 2 [ 1 / n 0 n T 0 n I − 1 v T ]
\begin{align*}
\Sigma =& \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \sigma^{2} I \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix}^{T}
\\ =& \sigma^{2} \begin{bmatrix} 1/n & \mathbf{0}_{n}^{T} \\ \mathbf{0}_{n} & I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix}
\end{align*}
Σ = = [ v T I − 1 v T ] σ 2 I [ v T I − 1 v T ] T σ 2 [ 1/ n 0 n 0 n T I − 1 v T ] X ‾ \overline{X} X Y \mathbf{Y} Y S 2 = 1 n − 1 ∑ k = 1 n ( X k − X ‾ ) 2 = 1 n − 1 Y T Y
S^{2} = {{ 1 } \over { n-1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X} \right)^{2} = {{ 1 } \over { n-1 }} \mathbf{Y}^{T} \mathbf{Y}
S 2 = n − 1 1 k = 1 ∑ n ( X k − X ) 2 = n − 1 1 Y T Y X ‾ ⊥ S 2 \overline{X} \perp S^{2} X ⊥ S 2
■
(c) V = ∑ i = 1 n ( X i − μ σ ) 2 \displaystyle V = \sum_{i=1}^{n} \left( { {X_{i} - \mu } \over {\sigma} } \right) ^2 V = i = 1 ∑ n ( σ X i − μ ) 2 X i − μ σ ∼ N ( 0 , 1 ) \displaystyle { {X_{i} - \mu } \over {\sigma} } \sim N(0,1) σ X i − μ ∼ N ( 0 , 1 ) V ∼ χ 2 ( n ) V \sim \chi^2 (n) V ∼ χ 2 ( n )
V = ∑ i = 1 n ( X i − μ σ ) 2 = ∑ i = 1 n ( ( X i − X ‾ ) + ( X ‾ − μ ) σ ) 2 = ∑ i = 1 n ( X i − X ‾ σ ) 2 + ( X ‾ − μ σ / n ) 2
\begin{align*} V =& \sum_{i=1}^{n} \left( { {X_{i} - \mu } \over {\sigma} } \right) ^2
\\ =& \sum_{i=1}^{n} \left( { { ( X_{i} -\overline{X} ) + ( \overline{X} - \mu ) } \over {\sigma} } \right) ^2
\\ =& \sum_{i=1}^{n} \left( { { X_{i} -\overline{X} } \over {\sigma} } \right) ^2 + \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) ^2
\end{align*}
V = = = i = 1 ∑ n ( σ X i − μ ) 2 i = 1 ∑ n ( σ ( X i − X ) + ( X − μ ) ) 2 i = 1 ∑ n ( σ X i − X ) 2 + ( σ / n X − μ ) 2
여기서
∑ i = 1 n ( X i − X ‾ σ ) 2 = n − 1 σ 2 ∑ i = 1 n ( X i − X ‾ ) 2 n − 1 = ( n − 1 ) S 2 σ 2
\sum_{i=1}^{n} \left( { { X_{i} -\overline{X} } \over {\sigma} } \right) ^2 = { {n-1} \over {\sigma^2} } \sum_{i=1}^{n} { { ( X_{i} -\overline{X} ) ^ 2 } \over {n-1} } = (n-1) { {S^2} \over {\sigma^2} }
i = 1 ∑ n ( σ X i − X ) 2 = σ 2 n − 1 i = 1 ∑ n n − 1 ( X i − X ) 2 = ( n − 1 ) σ 2 S 2
정리하면
V = ( n − 1 ) S 2 σ 2 + ( X ‾ − μ σ / n ) 2
V = (n-1) { {S^2} \over {\sigma^2} } + \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) ^2
V = ( n − 1 ) σ 2 S 2 + ( σ / n X − μ ) 2
V ∼ χ 2 ( n ) V \sim \chi^2 (n) V ∼ χ 2 ( n ) ( X ‾ − μ σ / n ) ∼ N ( 0 , 1 )
\left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) \sim N(0,1)
( σ / n X − μ ) ∼ N ( 0 , 1 ) 카이제곱분포 를 따르므로
( X ‾ − μ σ / n ) 2 ∼ χ 2 ( 1 )
\left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right)^2 \sim \chi^2 (1)
( σ / n X − μ ) 2 ∼ χ 2 ( 1 )
스튜던트 정리의 (b)에서 X ‾ \overline{X} X S 2 S^2 S 2 적률생성함수 꼴이 되도록 하면
( 1 − 2 t ) − n / 2 = E { exp ( ( n − 1 ) S 2 σ 2 t ) } ( 1 − 2 t ) − 1 / 2
(1-2t)^{-n/2} = E \left\{ \exp \left( (n-1) { {S^2} \over {\sigma^2} } t \right) \right\} (1-2t)^{-1/2}
( 1 − 2 t ) − n /2 = E { exp ( ( n − 1 ) σ 2 S 2 t ) } ( 1 − 2 t ) − 1/2
따라서 ( n − 1 ) S 2 σ 2 \displaystyle (n-1) { {S^2} \over {\sigma^2} } ( n − 1 ) σ 2 S 2 ( 1 − 2 t ) − ( n − 1 ) / 2 (1-2t)^{-(n-1)/2} ( 1 − 2 t ) − ( n − 1 ) /2
■
(d) 정규분포와 카이제곱분포에서 스튜던트 t분포 유도 : W ∼ N ( 0 , 1 ) W \sim N(0,1) W ∼ N ( 0 , 1 ) V ∼ χ 2 ( r ) V \sim \chi^2 (r) V ∼ χ 2 ( r ) T = W V / r ∼ t ( r )
T = { {W} \over {\sqrt{V/r} } } \sim t(r)
T = V / r W ∼ t ( r )
T = X ‾ − μ S / n = ( X ‾ − μ ) / ( σ / n ) ( n − 1 ) S 2 / ( σ 2 ( n − 1 ) )
T = { {\overline{X} - \mu } \over {S / \sqrt{n}} } = { {( \overline{X} - \mu ) / (\sigma / \sqrt{n}) } \over { \sqrt{ (n-1) S^2 / ( \sigma^2 ( n-1 ) ) } } }
T = S / n X − μ = ( n − 1 ) S 2 / ( σ 2 ( n − 1 )) ( X − μ ) / ( σ / n ) X ‾ ∼ N ( μ , σ 2 n ) \displaystyle \overline{X} \sim N\left( \mu , { {\sigma^2} \over {n} } \right) X ∼ N ( μ , n σ 2 ) ( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) \displaystyle (n-1) { {S^2} \over {\sigma^2} } \sim \chi^2 (n-1) ( n − 1 ) σ 2 S 2 ∼ χ 2 ( n − 1 ) T ∼ t ( n − 1 )
T \sim t(n-1)
T ∼ t ( n − 1 )
■
