数値解析における最小最大近似と最小二乗近似
ビルドアップ 1
与えられた関数$f : [a,b] \to \mathbb{R}$を近似する問題が与えられているとしよう。計算はコンピュータの仕事なので、多項式$f$で近似することが目標だ。関数を近似するというのは、ある点の計算だけでなく、定義域$[a,b]$全体で$f$に似た関数を使いたいということなので、最も大きく間違っている部分を減らすことが目標だ。このような状況を最小極大化minimax問題と言う。[ 注: ‘最小極大化’という言葉は、経済学で最小の利益を極大化する状況から来た表現なので、今の問題には当てはまらない。漢字表現にこだわるより、「ミニマックス」で覚えておこう。 ] $$ \rho_{n} (f) := \inf_{\deg(q) \le n } \left\| f - q \right\|_{\infty} $$ 最小極大化問題を式で書き直すと、$\rho_{n} (f)$が最も小さくなるような$n$次以下の多項式$q$を見つけることだ。$\| \cdot \|_{\infty}$は最大ノルムを表し、これが最も小さくなるような$q_{n}^{ \ast }$を見つけることが目標だ。つまり、$\rho_{n} (f) = \| f - q_{n}^{ \ast } \|$を満たす$q_{n}^{ \ast }$を見つけることが最小極大化近似だ。
しかし、これは言うは易し行うは難し。再度強調するが、最小極大化近似をするには、一点ではなく$[a,b]$全体の誤差を一度に考慮しなければ成し遂げられない作業だ。よく考えてみれば、$[a,b]$は、閉区間を考える前に、数え切れないほど多くの点を含む集合で、見た目より扱いにくい。
最小二乗近似 2
$$ M_{n} (f) := \inf_{\deg(r) \le n } \left\| f - r \right\|_{2} $$ このような困難を回避するため、数学者たちは最小二乗近似を取り入れた。変動の二乗が最も小さくなる解を見つける方法を最小二乗法といい、式でいうと、$M_{n} (f)$が最も小さくなるような$n$次以下の多項式$r$を見つける方法だ。つまり、$M_{n} (f) = \| f - r_{n}^{ \ast } \|$を満たす$r_{n}^{ \ast }$を探すことが最小二乗近似だ。この方法の実装で使われる線型代数技術は、関数解析にも自然に応用される。
最小二乗、$\displaystyle \| f - r \|_{2} = \sqrt{ \int_{a}^{b} \left| f(x) - r(x) \right|^{2} d x }$を使う理由は、ヒルベルト空間でのみ内積が定義されているからだ。内積が定義できることで、比較的多様な技巧を使うことができるので、ルベーグ空間の中でもヒルベルト空間を選ぶのだ。
そして、驚くべきことに、ある方法で作られた最小二乗解$C_{n}$は、$\| \cdot \|_{2}$ではなく$\| \cdot \|_{\infty}$でもかなり良いパフォーマンスを示す。最小極大まではいかなくても、$\displaystyle \| f - C_{n} \| \le {{ \ln n } \over { n }}$程度に限定されても、$\ln n$の発散速度が$n$の発散速度よりもはるかに遅いため、$C_{n}$もまあまあ使える近似になり得るのだ。