logo

다변량정규분포에서 독립과 제로 상관관계는 동치다 📂확률분포론

다변량정규분포에서 독립과 제로 상관관계는 동치다

정리 1

X=[X1X2]:ΩRnμ=[μ1μ2]RnΣ=[Σ11Σ12Σ21Σ22]Rn×n \begin{align*} \mathbf{X} =& \begin{bmatrix} \mathbf{X}_{1} \\ \mathbf{X}_{2} \end{bmatrix} & : \Omega \to \mathbb{R}^{n} \\ \mu =& \begin{bmatrix} \mu_{1} \\ \mu_{2} \end{bmatrix} & \in \mathbb{R}^{n} \\ \Sigma =& \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} & \in \mathbb{R}^{n \times n} \end{align*} 위와 같이 조던블럭폼으로 나타낸 X\mathbf{X}, μ\mu, Σ\Sigma 에 대해 다변량정규분포를 따르는 랜덤벡터 XNn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right) 가 주어져 있다고 하자. 그러면 다음이 성립한다. X1X2    Σ12=Σ21=O \mathbf{X}_{1} \perp \mathbf{X}_{2} \iff \Sigma_{12} = \Sigma_{21} = O


설명

Σ12=Σ21=O\Sigma_{12} = \Sigma_{21} = O 는 두 랜덤벡터 X1\mathbf{X}_{1}X2\mathbf{X}_{2} 의 공분산이 00 임을 의미한다.

일반적으로 상관관계가 없다고 독립인 것은 아닌데, 이들이 동치가 되는 조건은 각자가 정규분포를 따르는 것이다. 팩트로는 누구나 다 아는 사실이지만 의외로 직접 증명을 해본 사람은 많지 않다.

증명

(    )\left( \implies \right)

X1\mathbf{X}_{1} 에 속하는 인덱스 iiX2\mathbf{X}_{2} 속하는 인덱스 jj 가 모든 iji \ne j 에 대해 XiXjX_{i} \perp X_{j} 라 하자. Cov(Xi,Xj)=E(Xiμi)(Xjμj)=E(Xiμi)E(Xjμj)=00 \begin{align*} & \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) \left( X_{j} - \mu_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) E \left( X_{j} - \mu_{j} \right) \\ =& 0 \cdot 0 \end{align*}


(    )\left( \impliedby \right)

Σ12=Σ12T=Σ21=O\Sigma_{12} = \Sigma_{12}^{T} = \Sigma_{21} = O 이라고 하자.

다변량정규분포의 마지널 랜덤벡터: 만약 XNn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu, \Sigma \right) 이라면, 그 마지널 랜덤벡터 중 하나인 X1X_{1} 는 다변량정규분포 Nm(μ1,Σ11)N_{m} \left( \mu_{1} , \Sigma_{11} \right) 를 따른다.

X1\mathbf{X}_{1}X2\mathbf{X}_{2}X\mathbf{X} 의 마지널 랜덤벡터로써, 각자 다변량정규분포 Nm(μ1,Σ11)N_{m} \left( \mu_{1} , \Sigma_{11} \right)Nnm(μ2,Σ22)N_{n-m} \left( \mu_{2} , \Sigma_{22} \right) 를 따르므로 각각의 적률생성함수 MX1M_{\mathbf{X}_{1}}, MX2M_{\mathbf{X}_{2}}t1Rm\mathbf{t}_{1} \in \mathbb{R}^{m}t2Rnm\mathbf{t}_{2} \in \mathbb{R}^{n-m} 에 대해 다음과 같다. MX1(t1)=exp[t1Tμ+12t1TΣt1]MX2(t2)=exp[t2Tμ+12t2TΣt2] \begin{align*} M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \\ M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) =& \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \end{align*}

다변량정규분포의 적률생성함수: XNp(μ,Σ)X \sim N_{p} \left( \mu , \Sigma \right)적률생성함수는 다음과 같다. MX(t)=exp(tTμ+12tTΣt),tRp M_{X} \left( \mathbf{t} \right) = \exp \left( \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right) \qquad , \mathbf{t} \in \mathbb{R}^{p}

X\mathbf{X} 의 적률생성함수 MX:RnRM_{\mathbf{X}} : \mathbb{R}^{n} \to \mathbb{R} 는 다음과 같이 X1\mathbf{X}_{1}, X2\mathbf{X}_{2} 각각의 적률생성함수 MX1M_{\mathbf{X}_{1}}, MX2M_{\mathbf{X}_{2}} 의 곱으로 나타난다. 여기서 tRn\mathbf{t} \in \mathbb{R}^{n}t=[t1t2]\mathbf{t} = \begin{bmatrix} \mathbf{t}_{1} \\ \mathbf{t}_{2} \end{bmatrix} 다. MX(t)=exp[tTμ+12tTΣt]=exp[t1Tμ1+t2Tμ2+12(t1TΣ11t1+t1TΣ12t2+t2TΣ21t1+t2TΣ22t2)]=exp[t1Tμ1+t2Tμ2+12(t1TΣ11t1+0+0+t2TΣ22t2)]=exp[t1Tμ+12t1TΣt1]exp[t2Tμ+12t2TΣt2]=MX1(t1)MX2(t2) \begin{align*} & M_{\mathbf{X}} \left( \mathbf{t} \right) \\ =& \exp \left[ \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + \mathbf{t}_{1}^{T} \Sigma_{12} \mathbf{t}_{2} + \mathbf{t}_{2}^{T} \Sigma_{21} \mathbf{t}_{1} + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + 0 + 0 + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \\ =& M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) \end{align*}


  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p184~185. ↩︎