📂수리통계학

공분산 행렬

정의¹

$p$차원 랜덤 벡터 $\mathbf{X} = \left( X_{1}, \cdots , X_{p} \right)$ 에 대해 다음과 같이 정의된 $\operatorname{Cov} (\mathbf{X})$ 를 공분산 행렬^{covariance matrix}이라 한다.

$$ \left( \operatorname{Cov} \left( \mathbf{X} \right) \right)_{ij} := \operatorname{Cov} \left( X_{i} , X_{j} \right) $$

---

• $\operatorname{Cov}$ 는 공분산이다.

설명

정의를 더 쉽게 풀어 적어보면 다음과 같다.

$$ \operatorname{Cov} \left( \mathbf{X} \right) := \begin{pmatrix} \operatorname{Var} \left( X_{1} \right) & \operatorname{Cov} \left( X_{1} , X_{2} \right) & \cdots & \operatorname{Cov} \left( X_{1} , X_{p} \right) \\ \operatorname{Cov} \left( X_{2} , X_{1} \right) & \operatorname{Var} \left( X_{2} \right) & \cdots & \operatorname{Cov} \left( X_{2} , X_{p} \right) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{Cov} \left( X_{p} , X_{1} \right) & \operatorname{Cov} \left( X_{p} , X_{2} \right) & \cdots & \operatorname{Var} \left( X_{p} \right) \end{pmatrix} $$

모든 공분산 행렬은 양의 반정부호 행렬이다. 다시 말해, 모든 벡터 $\mathbf{x} \in \mathbb{R}^{p}$ 에 대해 다음이 성립한다.

$$ 0 \le \textbf{x}^{T} \operatorname{Cov} \left( \mathbf{X} \right) \textbf{x} $$

정리

• [1]: $\mathbf{\mu} \in \mathbb{R}^{p}$ 가 $\mathbf{\mu} := \left( EX_{1} , \cdots , EX_{p} \right)$ 와 같이 주어져 있다고 하면 $$ \operatorname{Cov} (\mathbf{X}) = E \left[ \mathbf{X} \mathbf{X}^{T} \right] - \mathbf{\mu} \mathbf{\mu}^{T} $$
• [2]: 상수의 행렬 $A \in \mathbb{R}^{k \times p}$ 이 $(A)_{ij} := a_{ij}$ 와 같이 주어져 있다고 하면 $$ \operatorname{Cov} ( A \mathbf{X}) = A \operatorname{Cov} \left( \mathbf{X} \right) A^{T} $$

---

• $A^{T}$ 는 $A$ 의 전치행렬이다.

증명

[1]

$$ \begin{align*} \operatorname{Cov} \left( \mathbf{X} \right) =& E \left[ \left( \mathbf{X} - \mathbf{\mu} \right) \left( \mathbf{X} - \mathbf{\mu} \right)^{T} \right] \\ =& E \left[ \mathbf{X} \mathbf{X}^{T} - \mathbf{\mu} \mathbf{X}^{T} - \mathbf{X} \mathbf{\mu}^{T} + \mathbf{\mu} \mathbf{\mu}^{T} \right] \\ =& E \left[ \mathbf{X} \mathbf{X}^{T} \right] - \mathbf{\mu} E \left[ \mathbf{X}^{T} \right] - E \left[ \mathbf{X} \right] \mathbf{\mu}^{T} + E \left[ \mathbf{\mu} \mathbf{\mu}^{T} \right] \\ =& E \left[ \mathbf{X} \mathbf{X}^{T} \right] - \mathbf{\mu} \mathbf{\mu}^{T} \end{align*} $$

■

[2] ²

$$ \begin{align*} \operatorname{Cov} \left( A \mathbf{X} \right) =& E \left[ \left( A\mathbf{X} - A\mathbf{\mu} \right) \left( A\mathbf{X} - A\mathbf{\mu} \right)^{T} \right] \\ =& E \left[ A\left(\mathbf{X} -\mathbf{\mu} \right) \left( \mathbf{X} - \mathbf{\mu} \right)^{T} A^{T} \right] \\ =& A E \left[ \left(\mathbf{X} -\mathbf{\mu} \right) \left( \mathbf{X} - \mathbf{\mu} \right)^{T}\right] A^{T} \\ =& A \operatorname{Cov}\left( \mathbf{X} \right) A^{T} \end{align*} $$

■