📂확률분포론

다변량정규분포에서 독립과 제로 상관관계는 동치다

정리 ¹

$$ \begin{align*} \mathbf{X} =& \begin{bmatrix} \mathbf{X}_{1} \\ \mathbf{X}_{2} \end{bmatrix} & : \Omega \to \mathbb{R}^{n} \\ \mu =& \begin{bmatrix} \mu_{1} \\ \mu_{2} \end{bmatrix} & \in \mathbb{R}^{n} \\ \Sigma =& \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} & \in \mathbb{R}^{n \times n} \end{align*} $$ 위와 같이 조던블럭폼으로 나타낸 $\mathbf{X}$, $\mu$, $\Sigma$ 에 대해 다변량정규분포를 따르는 랜덤벡터 $\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$ 가 주어져 있다고 하자. 그러면 다음이 성립한다. $$ \mathbf{X}_{1} \perp \mathbf{X}_{2} \iff \Sigma_{12} = \Sigma_{21} = O $$

---

• $\perp$ 는 확률변수의 독립을 나타낸다.
• $O$ 는 영행렬을 나타낸다.

설명

$\Sigma_{12} = \Sigma_{21} = O$ 는 두 랜덤벡터 $\mathbf{X}_{1}$ 와 $\mathbf{X}_{2}$ 의 공분산이 $0$ 임을 의미한다.

일반적으로 상관관계가 없다고 독립인 것은 아닌데, 이들이 동치가 되는 조건은 각자가 정규분포를 따르는 것이다. 팩트로는 누구나 다 아는 사실이지만 의외로 직접 증명을 해본 사람은 많지 않다.

증명

$\left( \implies \right)$

$\mathbf{X}_{1}$ 에 속하는 인덱스 $i$ 와 $\mathbf{X}_{2}$ 속하는 인덱스 $j$ 가 모든 $i \ne j$ 에 대해 $X_{i} \perp X_{j}$ 라 하자. $$ \begin{align*} & \text{Cov} \left( X_{i} , X_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) \left( X_{j} - \mu_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) E \left( X_{j} - \mu_{j} \right) \\ =& 0 \cdot 0 \end{align*} $$

---

$\left( \impliedby \right)$

$\Sigma_{12} = \Sigma_{12}^{T} = \Sigma_{21} = O$ 이라고 하자.

다변량정규분포의 마지널 랜덤벡터: 만약 $\mathbf{X} \sim N_{n} \left( \mu, \Sigma \right)$ 이라면, 그 마지널 랜덤벡터 중 하나인 $X_{1}$ 는 다변량정규분포 $N_{m} \left( \mu_{1} , \Sigma_{11} \right)$ 를 따른다.

$\mathbf{X}_{1}$ 와 $\mathbf{X}_{2}$ 는 $\mathbf{X}$ 의 마지널 랜덤벡터로써, 각자 다변량정규분포 $N_{m} \left( \mu_{1} , \Sigma_{11} \right)$ 와 $N_{n-m} \left( \mu_{2} , \Sigma_{22} \right)$ 를 따르므로 각각의 적률생성함수 $M_{\mathbf{X}_{1}}$, $M_{\mathbf{X}_{2}}$ 는 $\mathbf{t}_{1} \in \mathbb{R}^{m}$ 과 $\mathbf{t}_{2} \in \mathbb{R}^{n-m}$ 에 대해 다음과 같다. $$ \begin{align*} M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \\ M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) =& \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \end{align*} $$

다변량정규분포의 적률생성함수: $X \sim N_{p} \left( \mu , \Sigma \right)$ 의 적률생성함수는 다음과 같다. $$ M_{X} \left( \mathbf{t} \right) = \exp \left( \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right) \qquad , \mathbf{t} \in \mathbb{R}^{p} $$

$\mathbf{X}$ 의 적률생성함수 $M_{\mathbf{X}} : \mathbb{R}^{n} \to \mathbb{R}$ 는 다음과 같이 $\mathbf{X}_{1}$, $\mathbf{X}_{2}$ 각각의 적률생성함수 $M_{\mathbf{X}_{1}}$, $M_{\mathbf{X}_{2}}$ 의 곱으로 나타난다. 여기서 $\mathbf{t} \in \mathbb{R}^{n}$ 은 $\mathbf{t} = \begin{bmatrix} \mathbf{t}_{1} \\ \mathbf{t}_{2} \end{bmatrix}$ 다. $$ \begin{align*} & M_{\mathbf{X}} \left( \mathbf{t} \right) \\ =& \exp \left[ \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + \mathbf{t}_{1}^{T} \Sigma_{12} \mathbf{t}_{2} + \mathbf{t}_{2}^{T} \Sigma_{21} \mathbf{t}_{1} + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + 0 + 0 + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \\ =& M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) \end{align*} $$

■