logo

多変量正規分布 📂確率分布論

多変量正規分布

定義

平均ベクトル μRp\mathbf{\mu} \in \mathbb{R}^{p} および共分散行列 ΣRp×p\Sigma \in \mathbb{R}^{p \times p} に基づく以下のような確率密度関数を持つ多変量分布 Np(μ,Σ)N_{p} \left( \mu , \Sigma \right)多変量正規分布と呼ぶ。

f(x)=((2π)pdetΣ)1/2exp[12(xμ)TΣ1(xμ)],xRp f (\textbf{x}) = \left( (2\pi)^{p} \det \Sigma \right)^{-1/2} \exp \left[ - {{ 1 } \over { 2 }} \left( \textbf{x} - \mathbf{\mu} \right)^{T} \Sigma^{-1} \left( \textbf{x} - \mathbf{\mu} \right) \right] \qquad , \textbf{x} \in \mathbb{R}^{p}


  • xT\mathbf{x}^{T}x\mathbf{x}転置を意味する。

定理

X=[X1X2]:ΩRnμ=[μ1μ2]RnΣ=[Σ11Σ12Σ21Σ22]Rn×n \begin{align*} \mathbf{X} =& \begin{bmatrix} \mathbf{X}_{1} \\ \mathbf{X}_{2} \end{bmatrix} & : \Omega \to \mathbb{R}^{n} \\ \mu =& \begin{bmatrix} \mu_{1} \\ \mu_{2} \end{bmatrix} & \in \mathbb{R}^{n} \\ \Sigma =& \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} & \in \mathbb{R}^{n \times n} \end{align*} 以下の定理の記述で、特に説明がない限り、X\mathbf{X}μ\muΣ\Sigma は同じブロック行列を指す。

多変量正規分布の線形変換

行列 ARm×nA \in \mathbb{R}^{m \times n}ベクトル bRm\mathbf{b} \in \mathbb{R}^{m} に対して多変量正規分布に従うランダムベクトル XNn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)線形変換 Y=AX+b\mathbf{Y} = A \mathbf{X} + \mathbf{b} もやはり多変量正規分布 Nm(Aμ+b,AΣAT)N_{m} \left( A \mu + \mathbf{b} , A \Sigma A^{T} \right) に従う。

多変量正規分布における独立性とゼロ相関性は等価である

多変量正規分布に従うランダムベクトル XNn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right) があるとする。すると、以下が成立する。 X1X2    Σ12=Σ21=O \mathbf{X}_{1} \perp \mathbf{X}_{2} \iff \Sigma_{12} = \Sigma_{21} = O

多変量正規分布の条件付き平均と分散

多変量正規分布に従うランダムベクトル XNn(μ,Σ)\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right) があるとする。その場合、条件付き確率ベクトル X1X2:ΩRm\mathbf{X}_{1} | \mathbf{X}_{2} : \Omega \to \mathbb{R}^{m} もやはり多変量正規分布に従い、具体的には以下のような平均ベクトルと共分散行列を持つ。 X1X2Nm(μ1+Σ12Σ221(X2μ2),Σ11Σ12Σ221Σ21) \mathbf{X}_{1} | \mathbf{X}_{2} \sim N_{m} \left( \mu_{1} + \Sigma_{12} \Sigma_{22}^{-1} \left( \mathbf{X}_{2} - \mu_{2} \right) , \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \right)

回帰係数ベクトルの多変量正規性

回帰係数の推定量 β^\hat{\beta} は以下のような多変量正規分布に従う。 β^N1+p(β,σ2(XTX)1) \hat{\beta} \sim N_{1+p} \left( \beta , \sigma^{2} \left( X^{T} X \right)^{-1} \right)

積率生成関数

XNp(μ,Σ)X \sim N_{p} \left( \mu , \Sigma \right)積率生成関数は以下のとおりである。 MX(t)=exp(tTμ+12tTΣt),tRp M_{X} \left( \mathbf{t} \right) = \exp \left( \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right) \qquad , \mathbf{t} \in \mathbb{R}^{p}

エントロピー

多変量正規分布 Np(μ,Σ)N_{p}(\mu, \Sigma) のエントロピーは以下のとおりである。

H=12ln[(2πe)pΣ]=12ln(det(2πeΣ)) H = \dfrac{1}{2}\ln \left[ (2 \pi e)^{p} \left| \Sigma \right| \right] = \dfrac{1}{2}\ln (\det (2\pi e \Sigma))

Σ\left| \Sigma \right|共分散行列行列式である。

参照

  • 一変量正規分布: p=1p = 1 に続いて μR1\mu \in \mathbb{R}^{1} があり、そして ΣR1×1\Sigma \in \mathbb{R}^{1 \times 1} の時、上記の確率密度関数は正確に一変量正規分布の確率密度関数となる。