logo

共分散行列 📂数理統計学

共分散行列

定義1

pp次元のランダムベクターX=(X1,,Xp)\mathbf{X} = \left( X_{1}, \cdots , X_{p} \right)に対して以下のように定義されるCov(X)\operatorname{Cov} (\mathbf{X})共分散行列covariance matrixという。

(Cov(X))ij:=Cov(Xi,Xj) \left( \operatorname{Cov} \left( \mathbf{X} \right) \right)_{ij} := \operatorname{Cov} \left( X_{i} , X_{j} \right)


  • Cov\operatorname{Cov}共分散である。

説明

定義をもっと簡単に書いてみると以下の通り。

Cov(X):=(Var(X1)Cov(X1,X2)Cov(X1,Xp)Cov(X2,X1)Var(X2)Cov(X2,Xp)Cov(Xp,X1)Cov(Xp,X2)Var(Xp)) \operatorname{Cov} \left( \mathbf{X} \right) := \begin{pmatrix} \Var \left( X_{1} \right) & \operatorname{Cov} \left( X_{1} , X_{2} \right) & \cdots & \operatorname{Cov} \left( X_{1} , X_{p} \right) \\ \operatorname{Cov} \left( X_{2} , X_{1} \right) & \Var \left( X_{2} \right) & \cdots & \operatorname{Cov} \left( X_{2} , X_{p} \right) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{Cov} \left( X_{p} , X_{1} \right) & \operatorname{Cov} \left( X_{p} , X_{2} \right) & \cdots & \Var \left( X_{p} \right) \end{pmatrix}

すべての共分散行列は正の半定値行列である。つまり、すべてのベクターxRp\mathbf{x} \in \mathbb{R}^{p}に対して以下が成り立つ。

0xTCov(X)x 0 \le \textbf{x}^{T} \operatorname{Cov} \left( \mathbf{X} \right) \textbf{x}

定理

  • [1]: μRp\mathbf{\mu} \in \mathbb{R}^{p}μ:=(EX1,,EXp)\mathbf{\mu} := \left( EX_{1} , \cdots , EX_{p} \right)として与えられた場合、 Cov(X)=E[XXT]μμT \operatorname{Cov} (\mathbf{X}) = E \left[ \mathbf{X} \mathbf{X}^{T} \right] - \mathbf{\mu} \mathbf{\mu}^{T}
  • [2]: 定数の行列ARk×pA \in \mathbb{R}^{k \times p}(A)ij:=aij(A)_{ij} := a_{ij}として与えられた場合、 Cov(AX)=ACov(X)AT \operatorname{Cov} ( A \mathbf{X}) = A \operatorname{Cov} \left( \mathbf{X} \right) A^{T}

証明

[1]

Cov(X)=E[(Xμ)(Xμ)T]=E[XXTμXTXμT+μμT]=E[XXT]μE[XT]E[X]μT+E[μμT]=E[XXT]μμT \begin{align*} \operatorname{Cov} \left( \mathbf{X} \right) =& E \left[ \left( \mathbf{X} - \mathbf{\mu} \right) \left( \mathbf{X} - \mathbf{\mu} \right)^{T} \right] \\ =& E \left[ \mathbf{X} \mathbf{X}^{T} - \mathbf{\mu} \mathbf{X}^{T} - \mathbf{X} \mathbf{\mu}^{T} + \mathbf{\mu} \mathbf{\mu}^{T} \right] \\ =& E \left[ \mathbf{X} \mathbf{X}^{T} \right] - \mathbf{\mu} E \left[ \mathbf{X}^{T} \right] - E \left[ \mathbf{X} \right] \mathbf{\mu}^{T} + E \left[ \mathbf{\mu} \mathbf{\mu}^{T} \right] \\ =& E \left[ \mathbf{X} \mathbf{X}^{T} \right] - \mathbf{\mu} \mathbf{\mu}^{T} \end{align*}

[2] 2

Cov(AX)=E[(AXAμ)(AXAμ)T]=E[A(Xμ)(Xμ)TAT]=AE[(Xμ)(Xμ)T]AT=ACov(X)AT \begin{align*} \operatorname{Cov} \left( A \mathbf{X} \right) =& E \left[ \left( A\mathbf{X} - A\mathbf{\mu} \right) \left( A\mathbf{X} - A\mathbf{\mu} \right)^{T} \right] \\ =& E \left[ A\left(\mathbf{X} -\mathbf{\mu} \right) \left( \mathbf{X} - \mathbf{\mu} \right)^{T} A^{T} \right] \\ =& A E \left[ \left(\mathbf{X} -\mathbf{\mu} \right) \left( \mathbf{X} - \mathbf{\mu} \right)^{T}\right] A^{T} \\ =& A \operatorname{Cov}\left( \mathbf{X} \right) A^{T} \end{align*}


  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p126. ↩︎

  2. https://stats.stackexchange.com/a/106207/172321 ↩︎