전체 특이값 분해의 존재성 증명

전체 특이값 분해의 존재성 증명

Proof of existence of fsvd

개요

고유값 대각화는 적용에 있어서 정방행렬이라는 제한이 있었지만 특이값 분해는 그러한 제약이 없었다.

이렇게 쓸만한 분해법이 모든 행렬에 통하는지, 즉 분해의 존재성을 밝히는 것은 상당히 중요한 문제라고 할 수 있다.

정리

자연수 $m \ge n \ge r = \text{rank} A$ 에 대해 행렬 $A \in \mathbb{R}^{m \times n}$ 는 fSVD를 갖는다.

증명

임의의 벡터 $\mathbb{x} \ne \mathbb{0}$ 에 대해 $\mathbb{x}^{T} A^{T} A \mathbb{x} = || A \mathbb{x} || ^2 > 0$ 이므로 $A^{T} A$ 의 고유값 $\sigma_{i}^{2}$ 은 $i \le r$ 에서 양수, $i > r$ 에서 $0$이다. 편의를 위해 $$ \sigma_{1} \ge \sigma_{2} \ge \cdots \ge \sigma_{r}>0 = \sigma_{r+1} = \cdots = \sigma_{n} $$ 이라 두고 대각행렬 $S := \text{diag} ( \sigma_{1} , \sigma_{2} , \cdots , \sigma_{r})$ 을 정의하자. 서로 정규직교인 $\mathbb{v}_{1} , \mathbb{v}_{2} , \cdots , \mathbb{v}_{n}$ 가 각각 $\sigma_{1} , \sigma_{2} , \cdots , \sigma_{n}$ 에 해당한다고 하면 $$ A^{T} A \mathbb{v}_{i} = \sigma_{i}^2 \mathbb{v}_{i} $$ 이제 $$ V_1 := \begin{bmatrix} \mathbb{v}_{1} & \mathbb{v}_{2} & \cdots & \mathbb{v}_{r} \end{bmatrix} \\ V_2 := \begin{bmatrix} \mathbb{v}_{r+1} & \mathbb{v}_{r+2} & \cdots & \mathbb{v}_{n} \end{bmatrix} $$ 을 구성하면 $$ V := \begin{bmatrix} V_{1} & V_{2} \end{bmatrix} $$ 은 정규직교행렬이다. $V_{1}$ 에 대해 $A^{T} A V_{1} = V_{1} S^2$ 이고 양변에 $V_{1}^{T}$ 를 곱하면 $$ V_{1}^{T} A^{T} A V_{1} = V_{1}^{T} V_{1} S^2 = S^2 $$ 여기서 $U_{1} : = A V_{1} S^{-1}$ 이라고 하면 $$ U_{1}^{T} A V_{1} = ( A V_{1} S^{-1} )^{T} A V_{1} = S^{-1} (A V_{1})^{T} A V_{1} = S^{-1} \cdot S^2 = S $$ $V_{2}$ 에 대해 $\sigma_{r+1} = \cdots = \sigma_{n} = 0$ 이므로 $$ A^{T} A V_{2} = V_{2} O = \mathbb{0} $$ 이고 양변에 $V_{2}^{T}$ 를 곱하면 $$ V_{2}^{T} A^{T} A V_{2} = \| A V_{2} \|^2 = 0 $$

이제 $$ U : = \begin{bmatrix} U_{1} & U_{2} \end{bmatrix} $$ 가 직교행렬이 되도록 $U_{2}$ 를 정의하면 $U_{2}^{T} U_{1} = 0$ 이고, $AV_{1} = U_{1} S$ 의 양변에 $U_{2}^{T}$ 를 곱하면 $$ U_{2}^{T} AV_{1} = U_{2}^{T} U_{1} S = 0 $$ 한편 $$ U_{1}^{T} U_{1} = ( A V_{1} S^{-1} ) ^{T} ( A V_{1} S^{-1} ) = S V_{1}^{T} A^{T} A V S^{-1} = I $$ 이므로 $U_{1} \in \mathbb{R}^{m \times r}$ 은 정규직교벡터로 이루어져있다. 하지만 $U_{1}$ 이 정규직교행렬임을 보인 것은 아니므로 $U_{1} U_{1}^{T} = I$ 임은 알 수 없고 $A V_{1} = U_{1} S$ 임은 다음과 같은 확인이 필요하다. $$ \begin{align*} && U^{T} A V_{1} = \begin{bmatrix} U_{1}^{T} \\ U_{2}^{T} \end{bmatrix} A V_{1} = \begin{bmatrix} U_{1}^{T} A V_{1} \\ U_{2}^{T} A V_{1} \end{bmatrix} = \begin{bmatrix} S \\ O \end{bmatrix} \\ \iff & AV_{1} = U \begin{bmatrix} S \\ O \end{bmatrix} = \begin{bmatrix} U_{1} & U_{2} \end{bmatrix} \begin{bmatrix} S \\ O \end{bmatrix} = U_{1} S \end{align*} $$

이제 마지막으로 $\Sigma : = \begin{bmatrix} S & O \\ O & O \end{bmatrix} \in \mathbb{R}^{m \times m}$ 을 정의하면 $$ \begin{align*} AV =& A \begin{bmatrix} V_{1} & V_{2} \end{bmatrix} \\ =& \begin{bmatrix} A V_{1} & A V_{2} \end{bmatrix} \\ =& \begin{bmatrix} U_{1} S & O \end{bmatrix} \\ =& \begin{bmatrix} U_{1} & U_{2} \end{bmatrix} \begin{bmatrix} S & O \\ O & O \end{bmatrix} \\ =& U \Sigma \end{align*} $$ 따라서 $A = U \Sigma V^{T} = U_{1} S V_{1}^{T}$, 즉 fSVD를 얻는다.

일반화

정리의 조건은 $A \in \mathbb{R}^{m \times n}$ 이지만 사실 $A \in \mathbb{C}^{m \times n}$ 으로 일반화가 가능하다.

댓글