logo

다변량 정규 분포 📂확률분포론

다변량 정규 분포

정의

모평균 벡터 $\mathbf{\mu} \in \mathbb{R}^{p}$ 와 공분산 행렬 $\Sigma \in \mathbb{R}^{p \times p}$ 에 대해 다음과 같은 확률 밀도 함수를 가지는 다변량 분포 $N_{p} \left( \mu , \Sigma \right)$ 를 다변량 정규 분포multivariate Normal distribution라고 한다.

$$ f (\textbf{x}) = \left( (2\pi)^{p} \det \Sigma \right)^{-1/2} \exp \left[ - {{ 1 } \over { 2 }} \left( \textbf{x} - \mathbf{\mu} \right)^{T} \Sigma^{-1} \left( \textbf{x} - \mathbf{\mu} \right) \right] \qquad , \textbf{x} \in \mathbb{R}^{p} $$

정리

$$ \begin{align*} \mathbf{X} =& \begin{bmatrix} \mathbf{X}_{1} \\ \mathbf{X}_{2} \end{bmatrix} & : \Omega \to \mathbb{R}^{n} \\ \mu =& \begin{bmatrix} \mu_{1} \\ \mu_{2} \end{bmatrix} & \in \mathbb{R}^{n} \\ \Sigma =& \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} & \in \mathbb{R}^{n \times n} \end{align*} $$ 아래 정리들의 진술에서 $\mathbf{X}$, $\mu$, $\Sigma$ 에 대해 별도의 설명이 없다면 위와 같은 블럭행렬을 의미한다.

다변량정규분포의 선형변환

행렬 $A \in \mathbb{R}^{m \times n}$ 과 벡터 $\mathbf{b} \in \mathbb{R}^{m}$ 에 대해 다변량정규분포를 따르는 랜덤벡터 $\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$ 의 선형변환 $\mathbf{Y} = A \mathbf{X} + \mathbf{b}$ 는 여전히 다변량정규분포 $N_{m} \left( A \mu + \mathbf{b} , A \Sigma A^{T} \right)$ 를 따른다.

다변량정규분포에서 독립과 제로 상관관계는 동치다

다변량정규분포를 따르는 랜덤벡터 $\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$ 가 주어져 있다고 하자. 그러면 다음이 성립한다. $$ \mathbf{X}_{1} \perp \mathbf{X}_{2} \iff \Sigma_{12} = \Sigma_{21} = O $$

다변량정규분포의 조건부 평균과 분산

다변량정규분포를 따르는 랜덤벡터 $\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$ 가 주어져 있다고 하자. 그러면 조건부확률벡터 $\mathbf{X}_{1} | \mathbf{X}_{2} : \Omega \to \mathbb{R}^{m}$ 는 여전히 다변량정규분포를 따르며, 구체적으로 다음과 같이 모평균 벡터와 모공분산행렬을 가진다. $$ \mathbf{X}_{1} | \mathbf{X}_{2} \sim N_{m} \left( \mu_{1} + \Sigma_{12} \Sigma_{22}^{-1} \left( \mathbf{X}_{2} - \mu_{2} \right) , \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \right) $$

회귀계수벡터의 다변량정규성

회귀계수의 추정량 $\hat{\beta}$ 은 다음과 같은 다변량정규분포를 따른다. $$ \hat{\beta} \sim N_{1+p} \left( \beta , \sigma^{2} \left( X^{T} X \right)^{-1} \right) $$

적률생성함수

$X \sim N_{p} \left( \mu , \Sigma \right)$ 의 적률생성함수는 다음과 같다. $$ M_{X} \left( \mathbf{t} \right) = \exp \left( \mathbf{t}^{T} \mu + {{ 1 } \over { 2 }} \mathbf{t}^{T} \Sigma \mathbf{t} \right) \qquad , \mathbf{t} \in \mathbb{R}^{p} $$

엔트로피

다변량 정규분포 $N_{p}(\mu, \Sigma)$의 엔트로피는 다음과 같다.

$$ H = \dfrac{1}{2}\ln \left[ (2 \pi e)^{p} \left| \Sigma \right| \right] = \dfrac{1}{2}\ln (\det (2\pi e \Sigma)) $$

$\left| \Sigma \right|$는 공분산행렬의 행렬식이다.

같이보기

  • 일변량 정규 분포: $p = 1$ 이어서 $\mu \in \mathbb{R}^{1}$ 이고 $\Sigma \in \mathbb{R}^{1 \times 1}$ 일 때 위 확률 밀도 함수는 정확히 일변량 정규 분포의 확률 밀도 함수가 된다.