서브그래디언트 메서드
정의1
목적함수 $f : \mathbb{R}^{n} \to \mathbb{R}$가 컨벡스 함수라고 하자. 점 $\mathbf{x}^{(k)}$에서 $f$의 서브그래디언트를 $\mathbf{g}^{(k)}$라고 하자. 다음과 같은 방법으로 $\mathbf{x}^{(k)}$를 업데이트하여 $f$에 대한 최적화 문제를 푸는 방법을 서브그래디언트 메서드subgradient method라고 한다.
$$ \mathbf{x}^{(k+1)} = \mathbf{x}^{(k)} - \alpha \mathbf{g}^{(k)} $$
설명2
경사하강법에서 그래디언트가 서브그래디언트로 대체된 꼴이다.
$$ \text{gradient descent: } \mathbf{x}^{(k+1)} = \mathbf{x}^{(k)} - \alpha \nabla f(\mathbf{x}^{(k)}) $$
$f$가 미분가능하다면 경사하강법을 쓰면 되므로, 목적함수가 미분가능하지 않을 때 선택할 수 있는 최적화 방법이다. 다만 수렴속도가 느리다는 단점이 있다.