X^T X 의 역행렬이 존재하는 필요충분조건
정리
$m \ge n$ 일 때, 행렬 $X \in \mathbb{R}^{m \times n}$ 의 역행렬이 존재하는 필요충분조건은 $X$ 가 풀 랭크를 가지는 것이다. $$ \exists \left( X^{T} X \right)^{-1} \iff \text{rank} X = n $$
- $X^{T}$ 는 $X$ 의 트랜스포즈다.
설명
이러한 팩트가 중요한 이유는 다중회귀분석의 $\mathbf{y} = X \beta$ 같은 과도결정계에는 최소제곱법을 통해 $$ \beta = \left( X^{T} X \right)^{-1} X^{T} \mathbf{y} $$ 과 같은 계산을 할 일이 있기 때문… 아니 정말 많기 때문이다. 이 팩트를 모르거나, 알더라도 실제 분석에서는 떠올리지 못해 문제를 겪는 상황도 쉽게 찾아볼 수 있다.
증명 1
$(\implies)$
$X^{T} X \in \mathbb{R}^{n \times n}$ 의 역행렬이 존재한다면 $\text{rank} X^{T} X = n$ 이다. $$ \begin{align*} n =& \text{rank} X^{T} X \\ \le & \text{rank} X \\ \le & \min \left\{ n , m \right\} \\ \le & n \end{align*} $$ 위 부등식이 성립하려면 $\text{rank} X = n$ 이어야한다.
$(\impliedby)$
어떤 $\mathbf{u} \in \mathbb{R}^{n}$ 에 대해 $$ X^{T} X \mathbf{u} = \mathbf{0} $$ 라 두자. $\mathbf{u} = \mathbf{0}$ 면 $\left( X^{T} X \right)^{-1}$ 가 존재하는 것과 동치이므로, $\mathbf{u}$ 가 영벡터임을 보일 것이다. $\mathbb{R}^{n}$ 은 내적공간이므로 $X^{T} X \mathbf{u}$ 와 $\mathbf{0}$ 의 벡터내적 $\left< \cdot , \cdot \right>$ 을 구해볼 수 있다. 영벡터끼리의 내적이므로 당연히 그 값은 $0$ 이고, $$ \begin{align*} 0 =& \left< X^{T} X \mathbf{u} , \mathbf{u} \right> \\ =& \left( X^{T} X \mathbf{u} \right)^{T} \mathbf{u} \\ =& \mathbf{u}^{T} X^{T} X \mathbf{u} \\ =& \left( X \mathbf{u} \right)^{T} X \mathbf{u} \\ =& \left< X \mathbf{u} , X \mathbf{u} \right> \end{align*} $$ 을 얻는다. 이는 곧 $X \mathbf{u} = \mathbf{0}$ 인데, $X$ 가 풀 랭크를 가진다고 가정했으므로 $\mathbf{u} = \mathbf{0}$ 이어야한다.
■