X^T X の逆行列が存在するための必要十分条件
定理
行列 $X \in \mathbb{R}^{m \times n}$ が与えられており $m \ge n$ とすると、次が成り立つ。 $$ \exists \left( X^{T} X \right)^{-1} \iff \text{rank} X = n $$ つまり、$X^{T} X$ の 逆行列 が存在する 同値条件 は $X$ がフルランクであることだ。
- $X^{T}$ は $X$ の 転置だ。
説明
この事実が重要な理由は、重回帰分析 の $\mathbf{y} = X \beta$ のような 過決定システム には 最小二乗法 を通じて $$ \beta = \left( X^{T} X \right)^{-1} X^{T} \mathbf{y} $$ というような計算を行うことが非常に多いためである。このファクトを知らない、または知っていても実際の分析では思い出さないことで 問題に直面する状況 も簡単に見られる。
証明 1
$(\implies)$
$X^{T} X \in \mathbb{R}^{n \times n}$ の逆行列が存在するならば $\text{rank} X^{T} X = n$ である。 $$ \begin{align*} n =& \text{rank} X^{T} X \\ \le & \text{rank} X \\ \le & \min \left\{ n , m \right\} \\ \le & n \end{align*} $$ 上の不等式を成立させるには $\text{rank} X = n$ でなければならない。
$(\impliedby)$
ある $\mathbf{u} \in \mathbb{R}^{n}$ に対して $$ X^{T} X \mathbf{u} = \mathbf{0} $$ としよう。$\mathbf{u} = \mathbf{0}$ ならば $\left( X^{T} X \right)^{-1}$ が存在することと同値なので、$\mathbf{u}$ が零ベクトルであることを示す。$\mathbb{R}^{n}$ は内積空間なので $X^{T} X \mathbf{u}$ と $\mathbf{0}$ の ベクトル内積 $\left< \cdot , \cdot \right>$ を計算してみることができる。零ベクトル同士の内積なので当然その値は $0$ であり、 $$ \begin{align*} 0 =& \left< X^{T} X \mathbf{u} , \mathbf{u} \right> \\ =& \left( X^{T} X \mathbf{u} \right)^{T} \mathbf{u} \\ =& \mathbf{u}^{T} X^{T} X \mathbf{u} \\ =& \left( X \mathbf{u} \right)^{T} X \mathbf{u} \\ =& \left< X \mathbf{u} , X \mathbf{u} \right> \end{align*} $$ を得る。これはすなわち $X \mathbf{u} = \mathbf{0}$ であり、$X$ がフルランクを持つと仮定したゆえに $\mathbf{u} = \mathbf{0}$ でなければならない。
■