📂行列代数

X^T X の逆行列が存在するための必要十分条件

定理

行列 $X \in \mathbb{R}^{m \times n}$ が与えられており $m \ge n$ とすると、次が成り立つ。 $$\exists \left( X^{T} X \right)^{-1} \iff \text{rank} X = n$$ つまり、$X^{T} X$ の 逆行列 が存在する 同値条件 は $X$ がフルランクであることだ。

---

• $X^{T}$ は $X$ の 転置だ。

説明

この事実が重要な理由は、重回帰分析 の $\mathbf{y} = X \beta$ のような 過決定システム には 最小二乗法 を通じて $$\beta = \left( X^{T} X \right)^{-1} X^{T} \mathbf{y}$$ というような計算を行うことが非常に多いためである。このファクトを知らない、または知っていても実際の分析では思い出さないことで 問題に直面する状況 も簡単に見られる。

証明 ¹

$(\implies)$

$X^{T} X \in \mathbb{R}^{n \times n}$ の逆行列が存在するならば $\text{rank} X^{T} X = n$ である。 $$\begin{align*} n =& \text{rank} X^{T} X \\ \le & \text{rank} X \\ \le & \min \left\{ n , m \right\} \\ \le & n \end{align*}$$ 上の不等式を成立させるには $\text{rank} X = n$ でなければならない。

---

$(\impliedby)$

ある $\mathbf{u} \in \mathbb{R}^{n}$ に対して $$X^{T} X \mathbf{u} = \mathbf{0}$$ としよう。$\mathbf{u} = \mathbf{0}$ ならば $\left( X^{T} X \right)^{-1}$ が存在することと同値なので、$\mathbf{u}$ が零ベクトルであることを示す。$\mathbb{R}^{n}$ は内積空間なので $X^{T} X \mathbf{u}$ と $\mathbf{0}$ の ベクトル内積 $\left< \cdot , \cdot \right>$ を計算してみることができる。零ベクトル同士の内積なので当然その値は $0$ であり、 $$\begin{align*} 0 =& \left< X^{T} X \mathbf{u} , \mathbf{u} \right> \\ =& \left( X^{T} X \mathbf{u} \right)^{T} \mathbf{u} \\ =& \mathbf{u}^{T} X^{T} X \mathbf{u} \\ =& \left( X \mathbf{u} \right)^{T} X \mathbf{u} \\ =& \left< X \mathbf{u} , X \mathbf{u} \right> \end{align*}$$ を得る。これはすなわち $X \mathbf{u} = \mathbf{0}$ であり、$X$ がフルランクを持つと仮定したゆえに $\mathbf{u} = \mathbf{0}$ でなければならない。

■

参考資料

• フルランク行列の性質 = $X^T X$ の逆行列が存在する必要十分条件