📂행렬대수

X'X 의 역행렬이 존재하는 동치조건

정리

행렬 $X \in \mathbb{R}^{m \times n}$ 이 주어져 있고 $m \ge n$ 라 하면, 다음이 성립한다. $$\exists \left( X^{T} X \right)^{-1} \iff \text{rank} X = n$$ 다시 말해, $X^{T} X$ 의 역행렬이 존재하는 동치조건은 $X$ 가 풀 랭크를 가지는 것이다.

---

• $X^{T}$ 는 $X$ 의 트랜스포즈다.

설명

이러한 팩트가 중요한 이유는 다중회귀분석의 $\mathbf{y} = X \beta$ 같은 과도결정계에는 최소제곱법을 통해 $$\beta = \left( X^{T} X \right)^{-1} X^{T} \mathbf{y}$$ 과 같은 계산을 할 일이 있기 때문… 아니 정말 많기 때문이다. 이 팩트를 모르거나, 알더라도 실제 분석에서는 떠올리지 못해 문제를 겪는 상황도 쉽게 찾아볼 수 있다.

증명 ¹

$(\implies)$

$X^{T} X \in \mathbb{R}^{n \times n}$ 의 역행렬이 존재한다면 $\text{rank} X^{T} X = n$ 이다. $$\begin{align*} n =& \text{rank} X^{T} X \\ \le & \text{rank} X \\ \le & \min \left\{ n , m \right\} \\ \le & n \end{align*}$$ 위 부등식이 성립하려면 $\text{rank} X = n$ 이어야한다.

---

$(\impliedby)$

어떤 $\mathbf{u} \in \mathbb{R}^{n}$ 에 대해 $$X^{T} X \mathbf{u} = \mathbf{0}$$ 라 두자. $\mathbf{u} = \mathbf{0}$ 면 $\left( X^{T} X \right)^{-1}$ 가 존재하는 것과 동치이므로, $\mathbf{u}$ 가 영벡터임을 보일 것이다. $\mathbb{R}^{n}$ 은 내적공간이므로 $X^{T} X \mathbf{u}$ 와 $\mathbf{0}$ 의 벡터내적 $\left< \cdot , \cdot \right>$ 을 구해볼 수 있다. 영벡터끼리의 내적이므로 당연히 그 값은 $0$ 이고, $$\begin{align*} 0 =& \left< X^{T} X \mathbf{u} , \mathbf{u} \right> \\ =& \left( X^{T} X \mathbf{u} \right)^{T} \mathbf{u} \\ =& \mathbf{u}^{T} X^{T} X \mathbf{u} \\ =& \left( X \mathbf{u} \right)^{T} X \mathbf{u} \\ =& \left< X \mathbf{u} , X \mathbf{u} \right> \end{align*}$$ 을 얻는다. 이는 곧 $X \mathbf{u} = \mathbf{0}$ 인데, $X$ 가 풀 랭크를 가진다고 가정했으므로 $\mathbf{u} = \mathbf{0}$ 이어야한다.

■

같이보기

• 풀 랭크 행렬의 성질 = $X^T X$ 의 역행렬이 존재하는 필요충분조건