logo

交代最適化 📂最適化理論

交代最適化

定義

多変数の目的関数を最適化するとき、一つの変数だけを最適化し、変数ごとに交互に実行することを交互最適化alternating optimizationと言う。

説明

目的関数がH(x,y)H(x,y)の場合に次のような最適化問題を考えよう。

arg min⁡x,yH(x,y) \argmin\limits_{x,y} H(x,y)

これを一つの変数を固定して、残りの変数についてのみ最適化する二つの部分問題に分けることができる。

{arg min⁡xH(x,y)arg min⁡yH(x,y) \begin{cases} \argmin\limits_{x} H(x,y) \\ \argmin\limits_{y} H(x,y) \end{cases}

交互最適化とは、二つの変数について次のように反復的に最適解を更新することである。

{x(k+1)=arg min⁡xH(x,y(k))y(k+1)=arg min⁡yH(x(k+1),y) \begin{cases} x^{(k+1)} = \argmin\limits_{x} H(x,y^{(k)}) \\ y^{(k+1)} = \argmin\limits_{y} H(x^{(k+1)},y) \end{cases}