📂수리통계학

정규분포 랜덤벡터 이차형식의 적률생성함수

정리

샘플 $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ 이 $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ 와 같이 iid로 정규분포를 따른다고 하자. 랭크가 $r \le n$ 인 대칭행렬 $A \in \mathbb{R}^{n \times n}$ 에 대해 랜덤벡터 이차형식 $Q = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ 의 적률생성함수는 다음과 같다. $$M_{Q} (t) = \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2} = \det \left( I_{n} - 2 t A \right)^{-1/2} \qquad , | t | < 1 / 2 \lambda_{1}$$ 여기서 $I_{n} \in \mathbb{R}^{n \times n}$ 은 항등행렬, $\det$ 는 행렬식이다. $\lambda_{1} \ge \cdots \ge \lambda_{r}$ 은 $A$ 의 $0$ 이 아닌 고유값을 일반성을 잃지 않고 내림차순으로 나열한 것이다.

설명

이 정리는 호그-크레이그 정리의 증명에 쓰인다.

증명 ¹

$n$-차원 영벡터를 $\mathbf{0}_{n}$ 라 나타내자.

스펙트럴 분해: 스펙트럴 이론에서 말하는 $A = Q \Lambda Q^{\ast}$ 를 다음과 같이 고유쌍 $\left\{ \left( \lambda_{k} , e_{k} \right) \right\}_{k=1}^{n}$ 들의 급수꼴로 나타낸 것을 스펙트럴 분해^{spectral decomposition}이라 한다. $$A = \sum_{k=1}^{n} \lambda_{k} e_{k} e_{k}^{\ast}$$

$A$ 는 대칭행렬이므로 $Q$ 는 스텍트럴 분해를 통해 다음과 같이 나타낼 수 있다. $$\begin{align*} Q =& \sigma^{-2} \mathbf{X}^{T} A \mathbf{X} \\ =& \sigma^{-2} \mathbf{X}^{T} \sum_{i=1}^{n} \lambda_{i} e_{i} e_{i}^{T} \mathbf{X} \\ =& \sum_{i=1}^{r} \lambda_{i} \left( \mathbf{X}^{T} e_{i} \sigma^{-1} \right) \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right) \\ =& \sum_{i=1}^{r} \lambda_{i} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right)^{T} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right) \\ =& \sum_{i=1}^{r} \lambda_{i} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right)^{2} \end{align*}$$ $\Gamma_{1} := \left( e_{1}^{T} , \cdots , e_{r}^{T} \right) \in \mathbb{R}^{r \times n}$ 라 두고 랜덤벡터 $\mathbf{W}$ 를 $\mathbf{W} = \sigma^{-1} \Gamma_{1} \mathbf{X}$ 라 두면 $\mathbf{W} = \left( W_{1} , \cdots , W_{r} \right)$ 는 $r$차원 랜덤벡터가 된다. $$\begin{bmatrix} W_{1} \\ \vdots \\ W_{r} \end{bmatrix} = \mathbf{W} = \sigma^{-1} \Gamma_{1} \mathbf{X} = \begin{bmatrix} \sigma^{-1} e_{1}^{T} \mathbf{X} \\ \vdots \\ \sigma^{-1} e_{n}^{T} \mathbf{X} \end{bmatrix}$$ 이에 따라 $Q$ 는 다음과 같이 표현할 수 있다. $$Q = \sum_{i=1}^{r} \lambda_{i} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right)^{2} = \sum_{i=1}^{r} \lambda_{i} W_{i}^{2}$$

한편 랜덤벡터 $\mathbf{X}$ 의 각 성분이 정규분포 $N \left( 0 , \sigma^{2} \right)$ 를 따르므로 $\mathbf{X}$ 는 다변량정규분포 $N_{n} \left( \mathbf{0}_{n} , \sigma^{2} I_{n} \right)$ 을 따르고, $\Gamma_{1}$ 의 정의 그 자체에서 $\Gamma_{1} \Gamma_{1}^{T} = I_{r}$ 이다.

다변량정규분포의 선형변환의 정규성: 행렬 $A \in \mathbb{R}^{m \times n}$ 과 벡터 $\mathbf{b} \in \mathbb{R}^{m}$ 에 대해 다변량정규분포를 따르는 랜덤벡터 $\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$ 의 선형변환 $\mathbf{Y} = A \mathbf{X} + \mathbf{b}$ 는 여전히 다변량정규분포 $N_{m} \left( A \mu + \mathbf{b} , A \Sigma A^{T} \right)$ 를 따른다.

다변량정규분포의 선형변환의 정규성에 따라, $\mathbf{W}$ 는 다음과 같이 $r$차원 다변량정균분포 $N_{r} \left( \mathbf{0}_{r} , I_{r} \right)$ 을 따름을 알 수 있다. $$\begin{align*} \mathbf{W} =& \sigma^{-1} \Gamma_{1} \mathbf{X} + \mathbf{0}_{r} \\ \implies \mathbf{W} \sim & N_{r} \left( \sigma^{-1} \Gamma_{1} \mathbf{0}_{n} + \mathbf{0}_{r} , \left( \sigma^{-1} \Gamma_{1} \right) \left( \sigma^{2} I_{n} \right) \left( \sigma^{-1} \Gamma_{1} \right)^{T} \right) \\ \implies \mathbf{W} \sim & N_{r} \left( \mathbf{0}_{r} + \mathbf{0}_{r} , \Gamma_{1} I_{n} \Gamma_{1}^{T} \right) \\ \implies \mathbf{W} \sim & N_{r} \left( \mathbf{0}_{r} , I_{r} \right) \end{align*}$$

표준정규분포에서의 카이제곱분포 유도: $X \sim N(\mu,\sigma ^2)$면 $$V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1)$$

이는 $\mathbf{W}$ 의 성분 $W_{1} , \cdots , W_{r}$ 이 모두 iid로 표준정규분포를 따른다는 것이고, $W_{i}^{2}$ 는 카이제곱분포 $\chi^{2} (1)$ 을 따른다.

카이제곱 분포의 적률 생성 함수: 자유도 $r$ 인 카이제곱분포를 따르는 확률변수의 적률생성함수는 다음과 같다. $$m(t) = (1-2t)^{-r/2} \qquad , t < {{ 1 } \over { 2 }}$$

$Q$ 는 카이제곱분포를 따르는 확률변수들의 선형결합이므로 그 적률생성함수는 다음과 같다. $$\begin{align*} & M_{Q} (t) \\ =& E \left[ \exp \left( t Q \right) \right] \\ =& E \left[ t \exp \left( \sum_{i=1}^{r} \lambda_{i} W_{i}^{2} \right) \right] \\ =& \prod_{i=1}^{r} E \left[ \exp \left( t \lambda_{i} W_{i}^{2} \right) \right] \\ =& \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2} \qquad , | t | < 1 / 2 \lambda_{1} \end{align*}$$

직교행렬의 성질: 직교행렬의 행렬식은 $1$이거나 $-1$이다.

마지막으로 직교행렬 $\Gamma_{1}$ 의 행렬식은 $\pm 1$ 인데, $$1 = \det I_{n} = \det \Gamma_{1}^{T} \det \Gamma_{1}$$ 이므로 $1$ 이든 $-1$ 이든 $\Gamma_{1}$ 와 $\Gamma_{1}^{T}$ 의 행렬식은 복부호동순이다. 이에 따라 $I_{n} - 2 t A$ 의 행렬식을 구함으로써 $M_{Q} (t)$ 의 다른 꼴을 얻을 수 있다. $$\begin{align*} & \det \left( I_{n} - 2 t A \right) \\ =& \det \left( \Gamma_{1}^{T} \Gamma - 2 t \Gamma_{1}^{T} \Lambda \Gamma_{1} \right) \\ =& \det \left( \Gamma_{1}^{T} \left( I_{n} - 2 t \Lambda \right) \Gamma_{1} \right) \\ =& \det \Gamma_{1}^{T} \det \left( I_{n} - 2 t \Lambda \right) \det \Gamma_{1} \\ =& \left( \pm 1 \right) \cdot \det \left( I_{n} - 2 t \Lambda \right) \cdot \left( \pm 1 \right) \\ =& \det \left( I_{n} - 2 t \Lambda \right) \\ =& \det \begin{bmatrix} 1 - 2 t \lambda_{1} & 0 & \cdots & 0 \\ 0 & 1 - 2 t \lambda_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix} \\ =& \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right) \\ =& \left[ \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2} \right]^{-2} \end{align*}$$ 양변에 $-2$ 승을 취함으로써 증명이 끝난다. $$\det \left( I_{n} - 2 t A \right)^{-1/2} = \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2}$$

■