X^T X の逆行列が存在するための必要十分条件
定理
$m \ge n$ の時、行列 $X \in \mathbb{R}^{m \times n}$ の逆行列が存在するための必要十分条件は、$X$ がフルランクを持つことである。 $$ \exists \left( X^{T} X \right)^{-1} \iff \text{rank} X = n $$
- $X^{T}$ は$X$ の転置だ。
説明
こんな事実が重要な理由は、多重回帰分析の$\mathbf{y} = X \beta$ みたいな過剰決定系では、 $$ \beta = \left( X^{T} X \right)^{-1} X^{T} \mathbf{y} $$ という計算を最小二乗法を通して行うことがあるから…いや、実はとても多いからだ。この事実を知らないか、知っていても実際の分析では思い出せないために問題が生じる状況も簡単に見つけられる。
証明 1
$(\implies)$
$X^{T} X \in \mathbb{R}^{n \times n}$の逆行列が存在するならば、$\text{rank} X^{T} X = n$ である。 $$ \begin{align*} n =& \text{rank} X^{T} X \\ \le & \text{rank} X \\ \le & \min \left\{ n , m \right\} \\ \le & n \end{align*} $$ 上記の不等式が成立するためには、$\text{rank} X = n$ でなければならない。
$(\impliedby)$
ある$\mathbf{u} \in \mathbb{R}^{n}$に対して $$ X^{T} X \mathbf{u} = \mathbf{0} $$ とする。$\mathbf{u} = \mathbf{0}$ ならば、$\left( X^{T} X \right)^{-1}$の存在は、$\mathbf{u}$がゼロベクトルであることを示すことと等価である。$\mathbb{R}^{n}$ は内積空間であるため、$X^{T} X \mathbf{u}$と$\mathbf{0}$のベクトル内積 $\left< \cdot , \cdot \right>$ を計算することができる。ゼロベクトル同士の内積なので、当然その値は$0$ であり、 $$ \begin{align*} 0 =& \left< X^{T} X \mathbf{u} , \mathbf{u} \right> \\ =& \left( X^{T} X \mathbf{u} \right)^{T} \mathbf{u} \\ =& \mathbf{u}^{T} X^{T} X \mathbf{u} \\ =& \left( X \mathbf{u} \right)^{T} X \mathbf{u} \\ =& \left< X \mathbf{u} , X \mathbf{u} \right> \end{align*} $$ を得る。これはすなわち$X \mathbf{u} = \mathbf{0}$ であり、$X$ がフルランクを持つと仮定したので、$\mathbf{u} = \mathbf{0}$ でなければならない。
■