📂최적화이론

프락시멀 최소화 알고리즘

정의¹

목적함수 $f : \mathbb{R}^{n} \to \mathbb{R}^{n}$에 대한 최적화문제를 풀 때, 프락시멀 오퍼레이터를 반복 적용하여 최적해 $\mathbf{x}^{(k)}$를 업데이트하는 방법을 프락시멀 최소화 알고리즘^{proximal minimization algorithm}이라 한다.

$$\mathbf{x}^{(k+1)} = \operatorname{prox}_{\lambda f}(\mathbf{x}^{(k)}) = \argmin\limits_{\mathbf{v}} \left\{ \lambda f(\mathbf{v}) + \dfrac{1}{2}\left\| \mathbf{v} - \mathbf{x}^{(k)} \right\|_{2}^{2} : \mathbf{v} \in \mathbb{R}^{n} \right\}$$

설명

proximal point algorithm, proximal iteration이라고도 한다.

최적화 대상에서 $\dfrac{1}{2}\left\| \mathbf{v} - \mathbf{x}^{(k)} \right\|_{2}^{2}$ 항은 이번에 업데이트될 $\mathbf{x}^{(k+1)}$가 $\mathbf{x}^{(k)}$에서 너무 멀어지는 것을 방지한다. 갑자기 너무 다른 값으로 업데이트되지 않도록 한다는 것이다. 즉 목적함수 전체로 봤을 땐, 이전 스텝에서 너무 멀어지지 않은채 $f$를 최소화하는 방향으로 최적해가 업데이트된다고 볼 수 있다.