📂確率分布論

多変量正規分布での独立とゼロ相関は同値である

定理 ¹

$$ \begin{align*} \mathbf{X} =& \begin{bmatrix} \mathbf{X}_{1} \\ \mathbf{X}_{2} \end{bmatrix} & : \Omega \to \mathbb{R}^{n} \\ \mu =& \begin{bmatrix} \mu_{1} \\ \mu_{2} \end{bmatrix} & \in \mathbb{R}^{n} \\ \Sigma =& \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} & \in \mathbb{R}^{n \times n} \end{align*} $$ ジョーダンブロック形で表された$\mathbf{X}$、$\mu$、$\Sigma$に対して、多変量正規分布に従うランダムベクトル$\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$が与えられたとしよう。すると、次が成り立つ。 $$ \mathbf{X}_{1} \perp \mathbf{X}_{2} \iff \Sigma_{12} = \Sigma_{21} = O $$

---

• $\perp$は確率変数の独立を示す。
• $O$は零行列を示す。

説明

$\Sigma_{12} = \Sigma_{21} = O$は、二つのランダムベクトル$\mathbf{X}_{1}$と$\mathbf{X}_{2}$の共分散が$0$であることを意味する。

一般的に相関関係がないからといって独立であるわけではないが、これらが等価になる条件は、各自が正規分布に従うことである。これは誰もが知っている事実だが、意外と直接証明してみた人は少ない。

証明

$\left( \implies \right)$

$\mathbf{X}_{1}$に属するインデックスを$i$、$\mathbf{X}_{2}$に属するインデックスを$j$とし、すべての$i \ne j$に対して$X_{i} \perp X_{j}$とする。 $$ \begin{align*} & \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) \left( X_{j} - \mu_{j} \right) \\ =& E \left( X_{i} - \mu_{i} \right) E \left( X_{j} - \mu_{j} \right) \\ =& 0 \cdot 0 \end{align*} $$

---

$\left( \impliedby \right)$

$\Sigma_{12} = \Sigma_{12}^{T} = \Sigma_{21} = O$とする。

多変量正規分布の周辺ランダムベクトル: もし$\mathbf{X} \sim N_{n} \left( \mu, \Sigma \right)$であれば、その周辺ランダムベクトルの一つ$X_{1}$は多変量正規分布$N_{m} \left( \mu_{1} , \Sigma_{11} \right)$に従う。

$\mathbf{X}_{1}$と$\mathbf{X}_{2}$は$\mathbf{X}$の周辺ランダムベクトルであり、それぞれ多変量正規分布$N_{m} \left( \mu_{1} , \Sigma_{11} \right)$と$N_{n-m} \left( \mu_{2} , \Sigma_{22} \right)$に従うため、それぞれの積率生成関数$M_{\mathbf{X}_{1}}$、$M_{\mathbf{X}_{2}}$は$\mathbf{t}_{1} \in \mathbb{R}^{m}$と$\mathbf{t}_{2} \in \mathbb{R}^{n-m}$に対して次のようになる。 $$ \begin{align*} M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \\ M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) =& \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \end{align*} $$

多変量正規分布の積率生成関数: $X \sim N_{p} \left( \mu , \Sigma \right)$の積率生成関数は次のとおりである。 $$ M_{X} \left( \mathbf{t} \right) = \exp \left( \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right) \qquad , \mathbf{t} \in \mathbb{R}^{p} $$

$\mathbf{X}$の積率生成関数は$\mathbf{X}_{1}$、$\mathbf{X}_{2}$のそれぞれの積率生成関数$M_{\mathbf{X}_{1}}$、$M_{\mathbf{X}_{2}}$の積として表される。ここで$\mathbf{t} \in \mathbb{R}^{n}$は$\mathbf{t} = \begin{bmatrix} \mathbf{t}_{1} \\ \mathbf{t}_{2} \end{bmatrix}$である。 $$ \begin{align*} & M_{\mathbf{X}} \left( \mathbf{t} \right) \\ =& \exp \left[ \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + \mathbf{t}_{1}^{T} \Sigma_{12} \mathbf{t}_{2} + \mathbf{t}_{2}^{T} \Sigma_{21} \mathbf{t}_{1} + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu_{1} + \mathbf{t}_{2}^{T} \mu_{2} + {{ 1 } \over { 2 }} \left( \mathbf{t}_{1}^{T} \Sigma_{11} \mathbf{t}_{1} + 0 + 0 + \mathbf{t}_{2}^{T} \Sigma_{22} \mathbf{t}_{2} \right) \right] \\ =& \exp \left[ \mathbf{t}_{1}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{1}^{T} \Sigma \mathbf{t}_{1} \right] \exp \left[ \mathbf{t}_{2}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}_{2}^{T} \Sigma \mathbf{t}_{2} \right] \\ =& M_{\mathbf{X}_{1}} \left( \mathbf{t}_{1} \right) M_{\mathbf{X}_{2}} \left( \mathbf{t}_{2} \right) \end{align*} $$

■