📂행렬대수

제약된 극값 정리

정리¹

제약된 극값 정리 (Constrained Extremum Theorem):

행렬 $A \in M_{n \times n}(\mathbb{R})$이 대칭이라고 하자. 그리고 $A$의 고유값을 $\lambda_{1} \ge \lambda_{2} \ge \cdots \ge \lambda_{n}$이라 하자. 그러면 다음이 성립한다.

(a) $\| \mathbf{x} \| = 1$인 제약^constraint에서, 이차형식 $\mathbf{x}^{\mathsf{T}} A \mathbf{x}$는 최댓값과 최솟값을 갖는다.

(b) 최댓값과 최솟값은 각각 $\lambda_{1}$, $\lambda_{n}$이다.

증명

$A$가 대칭이라고 가정했으므로, 주축정리에 의해 다음이 성립하는 직교행렬 $P$가 존재한다.

$$ \mathbf{x}^{\mathsf{T}} A \mathbf{x} = \lambda_{1}y_{1}^{2} + \cdots + \lambda_{n}y_{n}^{2}, \quad \mathbf{x} \in \mathbb{R}^{n} $$

이때 $P$는 직교변수변환으로 $\mathbf{x} = P \mathbf{y}$가 성립한다. $P$가 직교행렬이므로 놈을 보존한다.

$$ \| \mathbf{x} \| = \| \mathbf{y} \| = y_{1}^{2} + \cdots + y_{n}^{2} $$

따라서 다음의 부등식이 성립하므로, $\lambda_{1}$과 $\lambda_{n}$이 $\mathbf{x}^{\mathsf{T}} A \mathbf{x}$의 상계와 하계가 된다.

$$ \begin{align*} \lambda_{n} &= \lambda_{n}(y_{1}^{2} + \cdots + y_{n}^{2}) \\ &\le \lambda_{1}y_{1}^{2} + \cdots + \lambda_{n}y_{n}^{2} = \mathbf{x}^{\mathsf{T}} A \mathbf{x} \\ &= \lambda_{1}(y_{1}^{2} + \cdots + y_{n}^{2}) \\ &= \lambda_{1} \end{align*} $$

$$ \implies \lambda_{n} \le \mathbf{x}^{\mathsf{T}} A \mathbf{x} \le \lambda_{1} $$

$\mathbf{x}_{1}$을 $\lambda_{1}$에 대응하는 고유벡터라 하면 다음이 성립한다.

$$ \mathbf{x}_{1}^{\mathsf{T}} A \mathbf{x}_{1} = \lambda_{1} \mathbf{x}_{1}^{\mathsf{T}} \mathbf{x}_{1} = \lambda_{1} $$

마찬가지로, $\mathbf{x}_{n}$를 $\lambda_{n}$에 대응되는 고유벡터라하면 다음을 얻는다.

$$ \mathbf{x}_{n}^{\mathsf{T}} A \mathbf{x}_{n} = \lambda_{n} $$

따라서 $\lambda_{1}$, $\lambda_{n}$은 각각 $\mathbf{x}^{\mathsf{T}} A \mathbf{x}$의 최댓값과 최솟값이다.

■