📂수리통계학

코크란 정리 증명

정리

샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 랭크가 $r_{j}$ 인 대칭행렬 $A_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n}$ 에 대해 확률변수 $Q_{1} , \cdots , Q_{k}$ 가 랜덤벡터 이차형식 $Q_{i} := \mathbf{X}^{T} A_{i} \mathbf{X}$ 와 같이 나타난다고 하고 샘플의 제곱합이 $\sum_{i=1}^{n} X_{i}^{2} = \sum_{j=1}^{k} Q_{j}$ 이라고 하면, 다음이 성립한다. $$\forall j , {\frac{ Q_{j} }{ \sigma^{2} }} \sim \chi^{2} \left( r_{j} \right) \land \forall j_{1} \ne j_{2} , Q_{j_{1}} \perp Q_{j_{2}} \iff \sum_{j=1}^{k} r_{j} = n$$ 다시 말해, $Q_{j}$ 들이 서로 독립이고 카이제곱분포 $\chi^{2} \left( r_{j} \right)$ 를 따르는 것과 동치조건은 랭크 $r_{j}$ 들의 합이 샘플의 크기 $n$ 과 같다는 것이다.

설명

이 정리는 F-검정이 사용되는 분산분석를 지탱하는 이론적 기틀이 된다.

증명

$(\implies)$ $Q_{j}$ 들이 서로 독립이고 $Q_{j} / \sigma^{2} \sim \chi^{2} \left( r_{j} \right)$ 라 가정하자.

확률변수들의 덧셈: $X_i \sim \chi^2 ( r_{i} )$ 이면 $$\sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right)$$

$Q_{j} / \sigma^{2}$ 가 자유도 $r_{j}$ 이 카재곱분포를 따르므로 이 확률변수들의 합은 다음과 같은 카이제곱분포를 따른다. $$\sum_{j=1}^{k} {\frac{ Q_{j} }{ \sigma^{2} }} \sim \chi^{2} \left( \sum_{j=1}^{k} r_{j} \right)$$

표준정규분포에서의 카이제곱분포 유도: $X \sim N(\mu,\sigma ^2)$면 $$V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1)$$

$X_{1} , \cdots , X_{n}$ 는 정규분포를 따르므로 $X_{i}^{2} / \sigma^{2} \sim \chi^{2} \left( 1 \right)$ 이고, 그 합은 다음과 같은 카이제곱분포를 따른다. $$\sum_{i=1}^{n} {\frac{ X_{i}^{2} }{ \sigma^{2} }} \sim \chi^{2} \left( n \right)$$

대전제에서 $\sum_{i=1}^{n} X_{i}^{2} = \sum_{j=1}^{k} Q_{j}$ 라 했으므로, $n = \sum_{j=1}^{k} r_{j}$ 이어야 한다.

---

$(\impliedby)$ $\sum_{j=1}^{k} r_{j} = n$ 이라 가정하자.

$$\begin{align*} \sum_{j=1}^{k} Q_{j} =& \mathbf{X}^{T} \left( A_{1} + \cdots + A_{k} \right) \mathbf{X} \\ =& \mathbf{X}^{T} \mathbf{X} \\ =& \sum_{i=1}^{n} X_{i}^{2} \end{align*}$$ $\sum_{i=1}^{n} X_{i}^{2} = \sum_{j=1}^{k} Q_{j}$ 이라는 것은 위와 같으므로, $I_{n} = \sum_{j=1}^{k} A_{j}$ 임을 알 수 있다. 여기서 행렬 $B_{j} = I_{n} - A_{j}$ 라 정의하면, $B_{j}$ 는 $A_{j}$ 만 제외하고 나머지 $A_{1} , \cdots , A_{k}$ 를 더한 것과 같다.

행렬 랭크의 준가법성: 행렬의 랭크는 준가법성을 가진다. 다시 말해, 두 행렬 $A, B$ 에 대해 다음이 성립한다. $$\rank \left( A + B \right) \le \rank A + \rank B$$

$R_{j_{0}}$ 을 $B_{j_{0}}$ 의 랭크라 하면, 행렬 합의 랭크는 행렬 랭크의 합보다 작거나 같으므로 다음의 부등식을 얻는다. $$R_{j_{0}} = \rank B_{j_{0}} \le \rank \left( I_{n} - A_{j_{0}} \right) = \sum_{j=1}^{k} r_{j} - r_{j_{0}} = n - r_{j_{0}}$$ 그런데 한편으로는 $I_{n} = A_{j_{0}} + B_{j_{0}}$ 이므로 $n \le r_{j_{0}} + R_{j_{0}} \implies n - r_{j_{0}} \le R_{j_{0}}$ 이고, 정확하게 $R_{j_{0}} = n - r_{j_{0}}$ 이 성립한다.

이는 $B_{j_{0}}$ 가 $R_{j_{0}} = n - r_{j_{0}}$ 개 만큼의 $0$ 이 아닌 고유값을 가지고 있다는 의미가 된다. $B_{j_{0}}$ 의 고유값 $\lambda$ 는 $\det \left( B_{j_{0}} - \lambda I \right) = 0$ 을 만족해야 하고, $B_{j_{0}} = I_{n} - A_{j_{0}}$ 이므로 다음과 같이 다시 적을 수 있다. $$\det \left( I_{n} - A_{j_{0}} - \lambda I_{n} \right) = \det \left( A_{j_{0}} - \left( 1 - \lambda \right) I_{n} \right) = 0$$ 따라서 $A_{j_{0}}$ 의 고유값은 $B_{j_{0}}$ 의 고유값과 $1$ 씩 차이가 나고, $B_{j_{0}}$ 의 $0$ 인 고유값이 정확히 $r_{j_{0}}$ 개 였으니 $A_{j_{0}}$ 는 $1$ 인 고유값을 정확히 $r_{j_{0}}$ 개 가진다. 대전제에서 $\rank A_{j} = r_{j}$ 이라 했으므로 $A_{j_{0}}$ 는 $r_{j_{0}}$ 개의 $1$ 인 고유값을 가지고 나머지는 모두 $0$ 이다.

고유값이 $0$ 과 $1$ 뿐인 대칭 실수행렬: 대칭행렬 $A \in \mathbb{R}^{n \times n}$ 의 고유값이 모두 $0$ 이거나 $1$ 이면 $A$ 는 멱등행렬이다.

정규분포 랜덤벡터 이차형식의 카이제곱성의 동치조건: 샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 랭크가 $r \le n$ 인 대칭행렬 $A \in \mathbb{R}^{n \times n}$ 에 대해 랜덤벡터 이차형식을 $Q = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ 라 두면, 다음이 성립한다. $$Q \sim \chi^{2} (r) \iff A^{2} = A$$

모든 대칭 실수행렬 $A_{1} , \cdots , A_{k}$ 는 고유값이 $0$ 과 $1$ 뿐이므로 멱등행렬이고, 랭크가 $r_{j}$ 이므로 $Q_{j} / \sigma^{2}$ 는 카이제곱분포 $\chi^{2} \left( r_{j} \right)$ 를 따른다.

호그-크레이그 정리: 샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 대칭행렬 $A_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n}$ 에 대해 확률변수 $Q_{1} , \cdots , Q_{k}$ 가 랜덤벡터 이차형식 $Q_{i} := \mathbf{X}^{T} A_{i} \mathbf{X}$ 와 같이 나타난다고 하고, 대칭행렬 $A$ 와 확률변수 $Q$ 를 다음과 같이 정의하자. $$\begin{align*} A =& A_{1} + \cdots + A_{k} \\ Q =& Q_{1} + \cdots + Q_{k} \end{align*}$$ 만약 $Q / \sigma^{2}$ 가 카이제곱분포 $\chi^{2} \left( r \right)$ 을 따르고 $i = 1 , \cdots , k-1$ 에 대해 $Q_{i} / \sigma^{2} \sim \chi^{2} \left( r_{i} \right)$ 이고, $Q_{k} \ge 0$ 이면 $Q_{1} , \cdots , Q_{k}$ 은 독립이고 $Q_{k} / \sigma^{2}$ 는 자유도가 $r_{k} = r - r_{1} - \cdots - r_{k-1}$ 인 카이제곱분포 $\chi^{2} \left( r_{k} \right)$ 를 따른다.

호그-크레이그 정리에 따라 $Q_{1} , \cdots , Q_{k}$ 는 서로 독립이다.

■