📂最適化理論

多変数関数の極値に対する一階必要条件

定理¹

関数 $f : \mathbb{R}^{n} \to \mathbb{R}$が与えられたとしよう。もし $x^{\ast}$がローカルオプティマイザー^{local optimizer}であり、$x^{\ast}$の近傍で$f \in C^{1}$ならば、

$$\nabla f(x^{\ast}) = 0$$

$\nabla f$は、$f$のグラディエントである。ここで、$0$は数値ゼロではなく、ゼロベクトルであることに注意。

説明

1次必要条件は、$x^{\ast}$が$f$のローカルミニマイザーである場合、$f$の1次導関数であるグラディエントが持つ性質について教えてくれる。名前がつけられ、多変数関数に拡張されているが、極大や極小で微分すると$0$になるというのは、学生時代にも学ぶ内容だ。

証明

背理法で証明する。$\nabla f (x^{\ast}) \ne 0$と仮定しよう。そして以下のように記す。

$$p = - \nabla f (x^{\ast}),\quad p^{t}\nabla f (x^{\ast}) = - \left\| \nabla f (x^{\ast}) \right\|^{2} \lt 0$$

ここで、$p^{t}$は転置行列を指す。すると、$\nabla f$が連続であるため、以下の式が成り立つ$s \gt 0$が存在する。

$$\begin{equation} p^{t}\nabla f (x^{\ast} + \xi p) \lt 0, \qquad \forall \xi \in [0, s] \end{equation}$$

また、多変数関数のテイラー展開式によると、

$$\begin{equation} f(x^{\ast} + \xi p) = f (x^{\ast}) + \xi p^{t} \nabla f(x^{\ast} + \bar{\xi} p),\quad \text{for some } \bar{\xi} \in (0, \xi) \end{equation}$$

すると、$(1)$と$(2)$により次が得られる。

$$f(x^{\ast} + \xi p) \lt f (x^{\ast}), \qquad \forall \xi \in [0, s]$$

これは、$x^{\ast}$がローカルミニマイザーであるという事実に矛盾する。従って、仮定が間違っており、$\nabla f (x^{\ast}) = 0$である。

■

参照

• 2次必要条件/十分条件