logo

多変量正規分布での独立とゼロ相関は同値である 📂確率分布論

多変量正規分布での独立とゼロ相関は同値である

定理 1

X=[X1X2]:Ω→Rnμ=[μ1μ2]∈RnΣ=[Σ11Σ12Σ21Σ22]∈Rn×n \begin{align*} \mathbf{X} =& \begin{bmatrix} \mathbf{X}_{1} \\ \mathbf{X}_{2} \end{bmatrix} & : \Omega \to \mathbb{R}^{n} \\ \mu =& \begin{bmatrix} \mu_{1} \\ \mu_{2} \end{bmatrix} & \in \mathbb{R}^{n} \\ \Sigma =& \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} & \in \mathbb{R}^{n \times n} \end{align*} ジョーダンブロック形で表されたX\mathbf{X}、μ\mu、Σ\Sigmaに対して、多変量正規分布に従うランダムベクトルX∼Nn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)が与えられたとしよう。すると、次が成り立つ。 X1⊥X2  ⟺  Σ12=Σ21=O \mathbf{X}_{1} \perp \mathbf{X}_{2} \iff \Sigma_{12} = \Sigma_{21} = O

説明

Σ12=Σ21=O\Sigma_{12} = \Sigma_{21} = Oは、二つのランダムベクトルX1\mathbf{X}_{1}とX2\mathbf{X}_{2}の共分散が00であることを意味する。

一般的に相関関係がないからといって独立であるわけではないが、これらが等価になる条件は、各自が正規分布に従うことである。これは誰もが知っている事実だが、意外と直接証明してみた人は少ない。

証明

(  ⟹  )\left( \implies \right)

X1\mathbf{X}_{1}に属するインデックスをii、X2\mathbf{X}_{2}に属するインデックスをjjとし、すべてのi≠ji \ne jに対してXi⊥XjX_{i} \perp X_{j}とする。 Cov⁡(Xi,Xj)=E(Xi−μi)(Xj−μj)=E(Xi−μi)E(Xj−μj)=0⋅0 \begin{align*} & \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) \left( X_{j} - \mu_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) E \left( X_{j} - \mu_{j} \right) \\ =& 0 \cdot 0 \end{align*}

(  ⟸  )\left( \impliedby \right)

Σ12=Σ12T=Σ21=O\Sigma_{12} = \Sigma_{12}^{T} = \Sigma_{21} = Oとする。

多変量正規分布の周辺ランダムベクトル: もしX∼Nn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu, \Sigma \right)であれば、その周辺ランダムベクトルの一つX1X_{1}は多変量正規分布Nm(μ1,Σ11)N_{m} \left( \mu_{1} , \Sigma_{11} \right)に従う。

X1\mathbf{X}_{1}とX2\mathbf{X}_{2}はX\mathbf{X}の周辺ランダムベクトルであり、それぞれ多変量正規分布Nm(μ1,Σ11)N_{m} \left( \mu_{1} , \Sigma_{11} \right)とNn−m(μ2,Σ22)N_{n-m} \left( \mu_{2} , \Sigma_{22} \right)に従うため、それぞれの積率生成関数MX1M_{\mathbf{X}_{1}}、MX2M_{\mathbf{X}_{2}}はt1∈Rm\mathbf{t}_{1} \in \mathbb{R}^{m}とt2∈Rn−m\mathbf{t}_{2} \in \mathbb{R}^{n-m}に対して次のようになる。 MX1(t1)=exp⁡[t1Tμ+12t1TΣt1]MX2(t2)=exp⁡[t2Tμ+12t2TΣt2] \begin{align*} M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \\ M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) =& \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \end{align*}

多変量正規分布の積率生成関数: X∼Np(μ,Σ)X \sim N_{p} \left( \mu , \Sigma \right)の積率生成関数は次のとおりである。 MX(t)=exp⁡(tTμ+12tTΣt),t∈Rp M_{X} \left( \mathbf{t} \right) = \exp \left( \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right) \qquad , \mathbf{t} \in \mathbb{R}^{p}

X\mathbf{X}の積率生成関数はX1\mathbf{X}_{1}、X2\mathbf{X}_{2}のそれぞれの積率生成関数MX1M_{\mathbf{X}_{1}}、MX2M_{\mathbf{X}_{2}}の積として表される。ここでt∈Rn\mathbf{t} \in \mathbb{R}^{n}はt=[t1t2]\mathbf{t} = \begin{bmatrix} \mathbf{t}_{1} \\ \mathbf{t}_{2} \end{bmatrix}である。 MX(t)=exp⁡[tTμ+12tTΣt]=exp⁡[t1Tμ1+t2Tμ2+12(t1TΣ11t1+t1TΣ12t2+t2TΣ21t1+t2TΣ22t2)]=exp⁡[t1Tμ1+t2Tμ2+12(t1TΣ11t1+0+0+t2TΣ22t2)]=exp⁡[t1Tμ+12t1TΣt1]exp⁡[t2Tμ+12t2TΣt2]=MX1(t1)MX2(t2) \begin{align*} & M_{\mathbf{X}} \left( \mathbf{t} \right) \\ =& \exp \left[ \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + \mathbf{t}_{1}^{T} \Sigma_{12} \mathbf{t}_{2} + \mathbf{t}_{2}^{T} \Sigma_{21} \mathbf{t}_{1} + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + 0 + 0 + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \\ =& M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) \end{align*}

■

  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p184~185. ↩︎