교대 최적화
정의
다변수함수인 목적함수를 최적화할 때, 하나의 변수에 대해서만 최적화하는 것을 각 변수마다 번갈아가면서 시행하는 방법을 교대 최적화alternating optimization라고 한다.
설명
목적함수가 $H(x,y)$인 경우에 다음과 같은 최적화 문제를 생각하자.
$$ \argmin\limits_{x,y} H(x,y) $$
이를 하나의 변수를 고정한채 나머지 변수에 대해서만 최적화하는 두 부분문제로 나눌 수 있다.
$$ \begin{cases} \argmin\limits_{x} H(x,y) \\ \argmin\limits_{y} H(x,y) \end{cases} $$
교대 최적화라는 것은 두 변수에 대해서 다음과 같이 반복적으로 최적해를 업데이트하는 것이다.
$$ \begin{cases} x^{(k+1)} = \argmin\limits_{x} H(x,y^{(k)}) \\ y^{(k+1)} = \argmin\limits_{y} H(x^{(k+1)},y) \end{cases} $$