📂최적화이론

다변수함수의 극값에 대한 1계 필요 조건

정리¹

함수 $f : \mathbb{R}^{n} \to \mathbb{R}$가 주어졌다고 하자. 만약 $x^{\ast}$가 지역 최적해^{local optimizer}이고, $x^{\ast}$의 근방에서 $f \in C^{1}$이면,

$$ \nabla f(x^{\ast}) = 0 $$

$\nabla f$는 $f$의 그래디언트이다. 여기서 $0$은 숫자 영^zero이 아니라, 영벡터임에 주의하라.

설명

1계필요조건은 $x^{\ast}$가 $f$의 로컬 미니마이저일 때, $f$의 1계 도함수인 그래디언트가 가지는 성질에 대해 말해준다. 이름이 붙고, 다변수함수에 대해서 확장되어서 그렇지, 극대나 극소에서 미분하면 $0$이 된다는 것은 급식 시절에도 배우는 내용이다.

증명

귀류법으로 증명한다. $\nabla f (x^{\ast}) \ne 0$라고 가정하자. 그리고 다음과 같이 표기하자

$$ p = - \nabla f (x^{\ast}),\quad p^{t}\nabla f (x^{\ast}) = - \left\| \nabla f (x^{\ast}) \right\|^{2} \lt 0 $$

여기서 $p^{t}$는 전치행렬이다. 그러면 $\nabla f$가 연속이기 때문에, 아래의 식이 성립하는 $s \gt 0$가 존재한다.

$$ \begin{equation} p^{t}\nabla f (x^{\ast} + \xi p) \lt 0, \qquad \forall \xi \in [0, s] \end{equation} $$

또한 다변수함수의 테일러전개공식에 의해,

$$ \begin{equation} f(x^{\ast} + \xi p) = f (x^{\ast}) + \xi p^{t} \nabla f(x^{\ast} + \bar{\xi} p),\quad \text{for some } \bar{\xi} \in (0, \xi) \end{equation} $$

그러면 $(1)$과 $(2)$에 의해 다음을 얻는다.

$$ f(x^{\ast} + \xi p) \lt f (x^{\ast}), \qquad \forall \xi \in [0, s] $$

이는 $x^{\ast}$가 로컬 미니마이저라는 사실에 모순된다. 따라서 가정이 틀렸으며, $\nabla f (x^{\ast}) = 0$이다.

■

같이보기

• 2계 필요조건/충분조건