수치해석학에서의 최소극대화 근사와 최소제곱 근사
빌드업 1
주어진 함수 $f : [a,b] \to \mathbb{R}$ 를 근사하는 문제가 주어져 있다고 하자. 계산은 컴퓨터의 몫이므로 다항함수로 $f$ 를 근사하는 것이 목표다. 함수를 근사시킨다는 것은 한 점에서의 계산이 아니라 정의역 $[a,b]$ 전체에서 $f$ 와 비슷한 함수를 사용하고 싶은 것이므로 가장 크게 틀리는 부분을 줄이는 것이 목표다. 이러한 상황을 최소극대화minimax 문제라고 한다. [ NOTE: ‘최소극대화’라는 단어는 경제학에서 최소한의 이익을 극대화하는 상황에서 나온 표현이므로 지금 문제에 맞지 않다. 한자 표현에 매달리기보단 그냥 ‘미니맥스’로 알아두자. ] $$ \rho_{n} (f) := \inf_{\deg(q) \le n } \left\| f - q \right\|_{\infty} $$ 최소극대화 문제를 수식으로 다시 써 보면 위의 $\rho_{n} (f)$ 가 가장 작아지도록 하는 $n$ 차 이하의 다항함수 $q$ 를 찾는 것이다. $\| \cdot \|_{\infty}$ 는 맥시멈 놈을 나타내며, 우리는 이것이 가장 작아지도록 하는 $q_{n}^{ \ast }$ 을 찾는 것이 목표다. 다시 말해, $\rho_{n} (f) = \| f - q_{n}^{ \ast } \|$ 을 만족하는 $q_{n}^{ \ast }$ 을 찾는 것이 최소극대화 근사다.
그러나 이는 말이 쉽지 생각보다 만만한 작업이 아니다. 최소극대화 근사를 한다는 것은 거듭 강조하지만 한 점이 아니라 $[a,b]$ 전체에서의 오차를 한꺼번에 고려해야 이뤄낼 수 있는 일이다. 다시 생각해보면 $[a,b]$ 는 폐구간 이전에 언카운터블하게 많은 점을 포함하는 집합이고, 보기보단 다루기 까다롭다.
최소제곱 근사 2
$$ M_{n} (f) := \inf_{\deg(r) \le n } \left\| f - r \right\|_{2} $$ 수학자들은 이러한 난관을 우회하기 위한 해법으로 최소제곱 근사를 끌고왔다. 편차의 제곱이 가장 작아지도록 하는 해를 찾는 방법을 최소제곱법이라고 하며, 수식적으로는 위의 $M_{n} (f)$ 가 가장 작아지도록 하는 $n$ 차 이하의 다항함수 $r$ 을 찾는 방법이다. 다시 말해, $M_{n} (f) = \| f - r_{n}^{ \ast } \|$ 을 만족하는 $r_{n}^{ \ast }$ 을 찾는 것이 최소제곱 근사다. 이러한 메소드의 구현에서 쓰이는 선형대수학적 기교들은 함수해석에도 자연스럽게 응용될 수 있다.
하필 최소제곱, $\displaystyle \| f - r \|_{2} = \sqrt{ \int_{a}^{b} \left| f(x) - r(x) \right|^{2} d x }$ 을 사용하는 이유는 바로 힐베르트 스페이스에서만 내적이 정의되기 때문이다. 내적이 정의됨으로써 비교적 여러가지 기교를 사용할 수 있게 되므로 르벡 스페이스 중에서도 힐베르트 스페이스를 선택하는 것이다.
그리고 놀랍게도 어떤 방법으로 만들어진 최소제곱해 $C_{n}$ 은 $\| \cdot \|_{2}$ 가 아니라 $\| \cdot \|_{\infty}$ 에서도 꽤 좋은 퍼포먼스를 보여준다. 비록 최소극대까진 아니더라도 $\displaystyle \| f - C_{n} \| \le {{ \ln n } \over { n }}$ 정도로만 바운드 되어도 $\ln n$ 의 발산 속도가 $n$ 의 발산 속도보다는 훨씬 느리기 때문에 $C_{n}$ 도 그럭저럭 쓸만한 근사가 될 수 있는 것이다.