交代最適化
定義
多変数の目的関数を最適化するとき、一つの変数だけを最適化し、変数ごとに交互に実行することを交互最適化alternating optimizationと言う。
説明
目的関数が$H(x,y)$の場合に次のような最適化問題を考えよう。
$$ \argmin\limits_{x,y} H(x,y) $$
これを一つの変数を固定して、残りの変数についてのみ最適化する二つの部分問題に分けることができる。
$$ \begin{cases} \argmin\limits_{x} H(x,y) \\ \argmin\limits_{y} H(x,y) \end{cases} $$
交互最適化とは、二つの変数について次のように反復的に最適解を更新することである。
$$ \begin{cases} x^{(k+1)} = \argmin\limits_{x} H(x,y^{(k)}) \\ y^{(k+1)} = \argmin\limits_{y} H(x^{(k+1)},y) \end{cases} $$