📂수리통계학

호그-크레이그 정리 증명

정리

샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 대칭행렬 $A_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n}$ 에 대해 확률변수 $Q_{1} , \cdots , Q_{k}$ 가 랜덤벡터 이차형식 $Q_{i} := \mathbf{X}^{T} A_{i} \mathbf{X}$ 와 같이 나타난다고 하고, 대칭행렬 $A$ 와 확률변수 $Q$ 를 다음과 같이 정의하자. $$ \begin{align*} A =& A_{1} + \cdots + A_{k} \\ Q =& Q_{1} + \cdots + Q_{k} \end{align*} $$ 만약 $Q / \sigma^{2}$ 가 카이제곱분포 $\chi^{2} \left( r \right)$ 을 따르고 $i = 1 , \cdots , k-1$ 에 대해 $Q_{i} / \sigma^{2} \sim \chi^{2} \left( r_{i} \right)$ 이고, $Q_{k} \ge 0$ 이면 $Q_{1} , \cdots , Q_{k}$ 은 독립이고 $Q_{k} / \sigma^{2}$ 는 자유도가 $r_{k} = r - r_{1} - \cdots - r_{k-1}$ 인 카이제곱분포 $\chi^{2} \left( r_{k} \right)$ 를 따른다.

설명

스테이트먼트에서 $Q / n \sigma^{2}$ 가 아닌 $Q / \sigma^{2}$ 가 카이제곱분포를 따른다는 것은 일견 이상해 보일 수 있는데, 실제로 덧셈이 이루어지는 것은 샘플의 합이 아니라 다음과 같이 행렬이기 때문에 $Q / \sigma^{2}$ 를 논하는 게 정확하다. $$ \begin{align*} Q =& Q_{1} + \cdots + Q_{k} \\ =& \mathbf{X}^{T} A_{1} \mathbf{X} + \cdots + \mathbf{X}^{T} A_{k} \mathbf{X} \\ =& \mathbf{X}^{T} \left( A_{1} + \cdots + A_{k} \right) \mathbf{X} \\ =& \mathbf{X}^{T} A \mathbf{X} \end{align*} $$

이 정리는 코크란 정리의 증명에 쓰인다.

증명 ¹

수학적귀납법으로 증명한다. 우선 $k = 2$ 라 하자.

정규분포 랜덤벡터 이차형식의 카이제곱성의 동치조건: 샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 랭크가 $r \le n$ 인 대칭행렬 $A \in \mathbb{R}^{n \times n}$ 에 대해 랜덤벡터 이차형식을 $Q = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ 라 두면, 다음이 성립한다. $$ Q \sim \chi^{2} (r) \iff A^{2} = A $$

$Q / \sigma^{2}$ 가 카이제곱분포를 따르므로, $A$ 는 멱등행렬이다.

멱등행렬의 고유값: 멱등행렬의 고유값은 $0$ 또는 $1$ 뿐이다.

$A$ 는 대칭행렬이고 실수행렬이므로 대각화가능하고, $A$ 의 고유값은 $0$ 과 $1$ 뿐이므로 크기가 항등행렬 $I_{r} \in \mathbb{R}^{r \times r}$ 과 영행렬 $O$ 에 대해 다음을 만족하는 직교행렬 $\Gamma$ 가 존재한다. $$ \Gamma^{T} A \Gamma = \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} $$

$A = A_{1} + A_{2}$ 을 풀어내면 다음과 같다. $$ \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} = \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma $$

정부호와 고유값: $A$가 양의 정부호이기 위한 필요충분조건은 $A$ 의 모든 고유값이 양수인 것이다.

$Q_{2} \ge 0$ 이라 가정했으므로 행렬 $A_{2}$ 는 양의 준정부호이고, $A$ 와 $A_{1}$ 는 멱등행렬이니 고유값이 $0$ 과 $1$ 뿐이므로 준정부호의 동치조건에 따라 역시 양의 준정부호다. 물론 이들에 직교행렬이 앞뒤로 곱해진 $\Gamma^{T} A \Gamma$, $\Gamma^{T} A_{1} \Gamma$, $\Gamma^{T} A_{2} \Gamma$ 역시 양의 준정부호이다.

정부호 행렬 주대각성분의 성질: 정부호 행렬 $A = \left( a_{ij} \right) \in \mathbb{C}^{n \times n}$ 가 주어져 있다고 하자. $A$ 의 주대각성분 $a_{ii}$ 의 부호는 $A$ 의 부호와 같다. 실수로 이루어진 준정부호 행렬 $A \in \mathbb{R}^{n \times n}$ 가 대칭행렬이라고 하자. $A$ 의 주대각성분 $a_{ii}$ 가 $0$ 이면 $i$번째 행과 열은 영벡터다.

양의 준정부호 행렬이 실수로 이루어져 있고 대칭성을 가지면, 그 주대각성분 중 $0$ 이 있으면 그 행과 열이 모두 $0$ 인 성질을 가진다. 이에 따르면 어떤 $G_{r} \in \mathbb{R}^{r \times r}$ 과 $H_{r} \in \mathbb{R}^{r \times r}$ 에 대해 다음과 같은 표현이 가능하다. $$ \begin{align*} \Gamma^{T} A \Gamma = & \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \end{align*} $$

$Q_{1} / \sigma^{2} \sim \chi^{2} \left( r_{1} \right)$ 이므로 $A_{1}$ 도 멱등행렬이고, 다음을 얻는다. $$ \left( \Gamma^{T} A_{1} \Gamma \right)^{2} = \Gamma^{T} A_{1} \Gamma = \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} $$ $\Gamma^{T} A \Gamma = \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma$ 의 양변에 $\Gamma^{T} A_{1} \Gamma$ 를 곱하면 다음과 같다. $$ \begin{align*} \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} \Gamma^{T} A_{1} \Gamma =& \Gamma^{T} A_{1} \Gamma \cdot \Gamma^{T} A_{1} \Gamma + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \Gamma^{T} A_{1} \Gamma \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} =& \Gamma^{T} A_{1} \Gamma + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} G_{r} H_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} O & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} H_{r} & O \\ O & O \end{bmatrix} \\ \implies G_{r} H_{r} =& O \\ \implies \Gamma^{T} A_{1} \Gamma \Gamma^{T} A_{2} \Gamma =& O \\ \implies A_{1} A_{2} =& O \end{align*} $$

크레이그 정리: 샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 대칭행렬 $A, B \in \mathbb{R}^{n \times n}$ 에 대해 확률변수 $Q_{1}$ 과 $Q_{2}$ 가 랜덤벡터 이차형식 $Q_{1} := \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ 그리고 $Q_{2} := \sigma^{-2} \mathbf{X}^{T} B \mathbf{X}$ 와 같이 정의되어 있다고 하면, 다음이 성립한다. $$ Q_{1} \perp Q_{2} \iff A B = O_{n} $$

확률변수들의 덧셈: $X_i \sim \chi^2 ( r_{i} )$ 이면 $$ \sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right) $$

크레이그 정리에 따라 $Q_{1}$ 와 $Q_{2}$ 는 독립이고, $Q_{2}$ 는 자유도가 $\left( r - r_{1} \right)$ 인 카이제곱분포를 따른다.

---

$k = 3$ 일 때도 성립함을 보이는 것으로 충분하다. $A_{3}$ 는 다음을 만족하는 양의 준정부호 행렬이라 하자. $$ A = A_{1} + \left( A_{2} + A_{3} \right) = A_{1} + B_{1} $$ $B_{1} := A_{2} + A_{3}$ 으로 묶어내면 $B_{1}$ 은 여전히 양의 준정부호 행렬이고, $A = A_{1} + B_{1}$ 에 $k = 2$ 일 때의 결과를 적용하면 $A_{1} B_{1} = O$ 이므로 다음과 같이 $B_{1}^{2} = B_{1}$ 를 얻는다. $$ \begin{align*} A = A^{2} =& \left( A_{1} + B_{1} \right)^{2} \\ =& A_{1}^{2} + A_{1} B_{1} + B_{1} A_{1} + B_{1}^{2} \\ =& A_{1} + O + B_{1}^{2} \\ \implies B_{1}^{2} =& A - A_{1} = B_{1} \end{align*} $$ 한편으로는 $B_{1} = A_{2} + A_{3}$ 그 자체에 $k = 2$ 일 때의 결과를 적용해서 $A_{2} A_{3} = O$ 와 $A_{3}^{2} = A_{3}$ 를 얻을 수 있다. 이렇게 $B_{1}$ 으로 묶어내는 과정을 $A = A_{2} + \left( A_{1} + A_{3} \right)$ 에 대해 적용하면 $A_{1} A_{3} = O$ 를 얻을 수 있고, 계속 반복하면 증명이 끝난다.

■