📂Matrix Algebra

The Principal Axes Theorem

Definition¹

$n$dimension vector $\mathbf{x}, \mathbf{y} \in \mathbb{R}^{n}$에 대해서, 다음을 만족하는 가역행렬 $P$ 혹은 아래의 식 자체를 변수변환이라 한다.

$$ \mathbf{x} = P \mathbf{y} $$

$P$가 직교행렬이면, 직교변수변환이라 한다.

Explanation

변수변환은 좌표변환이라 불리기도 한다. 이차형식 $\mathbf{x}^{\mathsf{T}} A \mathbf{x}$를 다루는 과정에서 식을 더 단순하게 만드는 등으로 활용된다.

Theorem

Principal axes theorem:

실행렬 $A \in M_{n \times n}(\mathbb{R})$가 대칭이면, 이차형식 $\mathbf{x}^{\mathsf{T}} A \mathbf{x}$를 혼합항이 없는 $\mathbf{y}^{\mathsf{T}} D \mathbf{y}$로 변환할 수 있는 직교변수변환 $P$가 존재한다. 이러한 $P$는 $A$를 직교대각화하고, 이차형식의 값은 다음과 같다.

$$ \mathbf{x}^{\mathsf{T}} A \mathbf{x} = \mathbf{y}^{\mathsf{T}} D \mathbf{y} = \lambda_{1}y_{1}^{2} + \cdots + \lambda_{n}y_{n}^{2} $$

여기서 $\lambda_{i}$는 $D$의 $i$번째 대각성분이자, $P$의 $i$번째 열벡터에 대응되는 $A$의 고유값이다.

Proof

$A$가 대칭행렬이면, 직교대각화 가능한 것과 동치이다. 즉 대각행렬 $D$에 대해서, 다음을 만족하는 직교행렬 $P$가 존재한다.

$$ A = P^{\mathsf{T}} D P $$

이러한 $P$를 직교변수변환 $\mathbf{x} = P \mathbf{y}$로 선택하자. 그러면 다음을 얻는다.

$$ \mathbf{x}^{\mathsf{T}} A \mathbf{x} = (P \mathbf{y})^{\mathsf{T}} A (P \mathbf{y}) = \mathbf{y}^{\mathsf{T}} (P^{\mathsf{T}} A P) \mathbf{y} = \mathbf{y}^{\mathsf{T}} D \mathbf{y} $$

이 값은 아래와 같다.

$$ \mathbf{y}^{\mathsf{T}} D \mathbf{y} = \begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \begin{bmatrix} \lambda_{1} & 0 & \cdots & 0 \\ 0 & \lambda_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_{n} \end{bmatrix} \begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} = \lambda_{1}y_{1}^{2} + \cdots + \lambda_{n}y_{n}^{2} $$

또한 이러한 $\lambda_{i}$들은 $P$의 $i$번째 열벡터에 대응되는 $A$의 고유값이다.

■