📂수리통계학

스튜던트의 정리 증명

정리 ¹

확률 변수 $X_{1} , \cdots , X_{n}$ 들이 iid로 정규분포 $N\left( \mu,\sigma^{2} \right)$ 를 따른다고 하면

• (a): $$ \overline{X} \sim N\left( \mu , { {\sigma^2} \over {n} } \right) $$
• (b): $$ \overline{X} \perp S^2 $$
• (c): $$ (n-1) { {S^2} \over {\sigma^2} } \sim \chi^2 (n-1) $$
• (d): $$ T = { {\overline{X} - \mu } \over {S / \sqrt{n}} } \sim t(n-1) $$

---

• 표뵨 평균 $\overline{X}$ 과 표본 분산 $S^{2}$ 는 다음과 같이 정의된 확률 변수다.

$$ \overline{X} := {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k} \\ S^{2} := {{ 1 } \over { n-1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X} \right)^{2} $$

설명

통계학을 하는 사람들은 당연한듯 쓰고 있지만 사실 여기에도 이름이 있다. 네 개의 파트로 나뉘어져 있어 구체적으로 인용하기도 어려운 것도 한몫했다.

(b)는 당연하다면 당연하고 이상하다면 이상한 사실인데, 표본 평균이든 표본 분산이든 둘 다 똑같은 데이터에서 나왔음에도 불구하고 독립이라는 점이 그렇다.

소표본에 대한 모평균 추론

스튜던트 정리의 증명은 모평균에 대한 소표본 가설검정의 유도 그 자체다.

증명

(a)

$\displaystyle \overline{X} = { { (X_1 + X_2 + \cdots + X_n )} \over {n}}$이므로, 정규분포를 따르는 확률변수들의 합을 생각해보면 $$ \overline{X} \sim N \left( \mu, {{1} \over {n}} \sigma^2 \right) $$

■

(b)

• $\mathbf{0}$ 는 영벡터를 나타낸다.
• $\mathbf{1} = (1, \cdots , 1) = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix}$ 은 모든 성분이 $1$ 인 벡터를 나타낸다.
• $I$ 는 항등행렬을 나타낸다.
• $A^{T}$ 는 행렬 $A$ 의 전치행렬을 나타낸다.

---

$\displaystyle \mathbf{v} := {{ 1 } \over { n }} \mathbf{1}$ 이라고 하자.

랜덤 벡터 $X := \left( X_{1} , \cdots , X_{n} \right)$ 는 다변량정규분포를 따르며 $$ \begin{align*} \overline{X} =& {{ 1 } \over { n }} \left( X_{1} + \cdots + X_{n} \right) \\ &= {{ 1 } \over { n }} \begin{bmatrix} 1 & \cdots & 1 \end{bmatrix} \begin{bmatrix} X_{1} \\ \vdots \\ X_{n} \end{bmatrix} \\ =& {{ 1 } \over { n }} \mathbf{1}^{T} \mathbf{X} \\ =& \mathbf{v}^{T} \mathbf{X} \end{align*} $$

이제 랜덤 벡터 $\mathbf{Y} := \left( X_{1} - \overline{X} , \cdots , X_{n} - \overline{X} \right)$ 을 정의하면 어떤 랜덤 벡터 $\mathbf{W}$ 는 다음과 같이 나타낼 수 있다. $$ \mathbf{W} = \begin{bmatrix} \overline{X} \\ \mathbf{Y} \end{bmatrix} = \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \mathbf{X} $$

$\mathbf{W}$ 는 다변량 정규 분포를 따르는 랜덤 벡터들이 선형변환된 것이므로 여전히 다변량정규분포를 따르며, 그 모평균 벡터는 위 등식에 기대값을 취한 $$ E \mathbf{W} = \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \mu \mathbf{1} = \begin{bmatrix} \mu \\ \mathbf{0}_{n} \end{bmatrix} $$ 이고 공분산행렬 $\Sigma$는 $$ \begin{align*} \Sigma =& \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \sigma^{2} I \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix}^{T} \\ =& \sigma^{2} \begin{bmatrix} 1/n & \mathbf{0}_{n}^{T} \\ \mathbf{0}_{n} & I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \end{align*} $$ 이다. 여기서 $\overline{X}$ 는 $\mathbf{Y}$ 와 독립임을 알 수 있으며 $$ S^{2} = {{ 1 } \over { n-1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X} \right)^{2} = {{ 1 } \over { n-1 }} \mathbf{Y}^{T} \mathbf{Y} $$ 이므로 $\overline{X} \perp S^{2}$ 이다.

■

(c)

$\displaystyle V = \sum_{i=1}^{n} \left( { {X_{i} - \mu } \over {\sigma} } \right) ^2 $ 라고 하면 $\displaystyle { {X_{i} - \mu } \over {\sigma} } \sim N(0,1)$ 이므로 $V \sim \chi^2 (n)$ 일 것이고

$$ \begin{align*} V =& \sum_{i=1}^{n} \left( { {X_{i} - \mu } \over {\sigma} } \right) ^2 \\ =& \sum_{i=1}^{n} \left( { { ( X_{i} -\overline{X} ) + ( \overline{X} - \mu ) } \over {\sigma} } \right) ^2 \\ =& \sum_{i=1}^{n} \left( { { X_{i} -\overline{X} } \over {\sigma} } \right) ^2 + \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) ^2 \end{align*} $$

여기서 $$ \sum_{i=1}^{n} \left( { { X_{i} -\overline{X} } \over {\sigma} } \right) ^2 = { {n-1} \over {\sigma^2} } \sum_{i=1}^{n} { { ( X_{i} -\overline{X} ) ^ 2 } \over {n-1} } = (n-1) { {S^2} \over {\sigma^2} } $$

정리하면 $$ V = (n-1) { {S^2} \over {\sigma^2} } + \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) ^2 $$

$V \sim \chi^2 (n)$ 이고 스튜던트 정리의 (a)에 의해 $$ \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) \sim N(0,1) $$ 이고, 표준정규분포의 제곱은 카이제곱분포를 따르므로 $$ \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right)^2 \sim \chi^2 (1) $$

스튜던트 정리의 (b)에서 $\overline{X}$ 와 $S^2$ 이 서로 독립임을 보였으므로, 양변이 적률생성함수꼴이 되도록 하면 $$ (1-2t)^{-n/2} = E \left\{ \exp \left( (n-1) { {S^2} \over {\sigma^2} } t \right) \right\} (1-2t)^{-1/2} $$

따라서 $\displaystyle (n-1) { {S^2} \over {\sigma^2} }$ 의 적률생성함수는 $(1-2t)^{-(n-1)/2}$ 이다.

■

(d)

정규분포와 카이제곱분포에서 스튜던트 t분포 유도: $W \sim N(0,1)$이고 $V \sim \chi^2 (r)$ 이면 $$ T = { {W} \over {\sqrt{V/r} } } \sim t(r) $$

$$ T = { {\overline{X} - \mu } \over {S / \sqrt{n}} } = { {( \overline{X} - \mu ) / (\sigma / \sqrt{n}) } \over { \sqrt{ (n-1) S^2 / ( \sigma^2 ( n-1 ) ) } } } $$ 스튜던트 정리의 (a)에서 $\displaystyle \overline{X} \sim N\left( \mu , { {\sigma^2} \over {n} } \right) $이고 (c)에서 $\displaystyle (n-1) { {S^2} \over {\sigma^2} } \sim \chi^2 (n-1) $ 임을 보였으므로 $$ T \sim t(n-1) $$

■