logo

교대 최적화 📂최적화이론

교대 최적화

정의

다변수함수인 목적함수를 최적화할 때, 하나의 변수에 대해서만 최적화하는 것을 각 변수마다 번갈아가면서 시행하는 방법을 교대 최적화alternating optimization라고 한다.

설명

목적함수가 H(x,y)H(x,y)인 경우에 다음과 같은 최적화 문제를 생각하자.

arg min⁡x,yH(x,y) \argmin\limits_{x,y} H(x,y)

이를 하나의 변수를 고정한채 나머지 변수에 대해서만 최적화하는 두 부분문제로 나눌 수 있다.

{arg min⁡xH(x,y)arg min⁡yH(x,y) \begin{cases} \argmin\limits_{x} H(x,y) \\ \argmin\limits_{y} H(x,y) \end{cases}

교대 최적화라는 것은 두 변수에 대해서 다음과 같이 반복적으로 최적해를 업데이트하는 것이다.

{x(k+1)=arg min⁡xH(x,y(k))y(k+1)=arg min⁡yH(x(k+1),y) \begin{cases} x^{(k+1)} = \argmin\limits_{x} H(x,y^{(k)}) \\ y^{(k+1)} = \argmin\limits_{y} H(x^{(k+1)},y) \end{cases}