📂行列代数

最小二乗法

定義¹

行列$A \in \mathbb{C}^{m \times n}$とベクトル$\mathbf{b} \in \mathbb{C}^{m}$に対して線形システム$A\mathbf{x} = \mathbf{b}$が優決定または劣決定であるとしよう。すると、このシステムは解を持たないか、無数に多く持つ。このとき

$$ \left\| A \mathbf{x} - \mathbf{b} \right\|_{2} $$

の値を最小化する問題を考えてみよう。これを最小二乗問題^{lSP, Least Square problem}という。この問題の解$\mathbf{x}_{\ast}$を最小二乗解^{least square solution}という。

$$ \mathbf{x}_{\ast} = \argmin \left\| A \mathbf{x} - \mathbf{b} \right\|_{2} $$

$A \mathbf{x} - \mathbf{b}$を最小二乗誤差ベクトル^{least square error vector}、$\left\| A \mathbf{x} - \mathbf{b} \right\|$を最小二乗誤差^{least square error}という。

説明

方程式の解が存在しないのは残念だが、だからといって解くこと自体を諦めるわけにはいかない。実際、この世界で簡単には解けず、学界の最前線で数学者たちの解法を待っている方程式は、たいていそのような問題である。このような問題を近いかたちでも解く方法を研究することは断然価値があり有用なものであって、最小二乗法はその代表的な方法の一つである。分野を問わず様々な実用学問で活発に使われており、特に統計学では心臓のような回帰分析を支える理論である。 $\left\| \mathbf{b} - A \mathbf{x} \right\|_{2}$の大きさが最小になるということは、その分$A \mathbf{x}$と$\mathbf{b}$の間の距離、すなわち誤差が小さくなるということと見ることができる。正射影$P : \mathbb{C}^{m} \to \mathcal{C} (A)$に対して

$$ \mathbf{b} = P \mathbf{b} + (I -P) \mathbf{b} $$

$$ P \mathbf{b} \in \mathcal{C} (A) $$

であるから、あるベクトル$\mathbf{x}_{\ast}$に対して$A \mathbf{x}_{\ast} = P \mathbf{b}$である。これについて

$$ \left\| A \mathbf{x} - \mathbf{b} \right\|_{2} = \left\| A \mathbf{x} - P \mathbf{b} + P \mathbf{b} - \mathbf{b} \right\|_{2} $$

と表してみると、$( A \mathbf{x} - P \mathbf{b} ) \in \mathcal{C} (A)$と$(I -P )\mathbf{b} \in \mathcal{N}(A)$は互いに直交することがわかる。ピタゴラスの定理により

$$ \left\| \mathbf{b} - A \mathbf{x} \right\|_{2}^{2} = \left\| A \mathbf{x} - P \mathbf{b} \right\|_{2}^{2} + \left\| (I -P )\mathbf{b} \right\|_{2}^{2} $$

であり、$\left\| \mathbf{b} - A \mathbf{x} \right\|_{2}$が最も小さくなる場合は$\mathbf{x} = \mathbf{x}_{\ast}$となる。

一方、余射影の性質から$A \in \mathcal{C} (A)$であり$(I - P) \mathbf{b} \in \mathcal{C} (A)^{\perp}$であるから

$$ A^{\ast} (I - P) \mathbf{b} = A^{\ast} ( \mathbf{b} - A \mathbf{x}_{\ast} ) = 0 $$

である。整理すると$A^{\ast} A \mathbf{x}_{\ast} = A^{\ast} \mathbf{b}$であるから、最小二乗法とは結局標準方程式$A^{\ast} A \mathbf{x}_{\ast} = A^{\ast} \mathbf{b}$を満たす解$\mathbf{x}_{\ast}$を求めることと同じである。

数式ではなく図を通して直観的に理解するには、次の例を見ると助けになるだろう。

上のように平面上に置かれた点をすべて通る直線を引く問題があるとしてみよう。当然だがこの問題の答えとなる直線(解)は存在せず、せいぜい近いかたちで通る直線(近似解)を探すしかないだろう。

上のように緑の線と赤の線で比較してみると、一目で左が右よりも正確であることがわかるだろう。青色で引かれた線の長さは、各点を直線に射影したときに離れた距離を表す。この問題における最小二乗解は、これらの距離の二乗の和が最小になるある直線である。