📂행렬대수

양정부호 행렬과 확장된 코시-슈바르츠 부등식 증명

정리 ¹

임의의 두 벡터 $\mathbf{b}, \mathbf{d} \in \mathbf{R}^{p}$ 와 양의 정부호 행렬 $A \in \mathbf{R}^{p \times p}$ 에 대해 다음의 부등식이 성립한다. $$ \left( \mathbf{b}^{T} \mathbf{d} \right)^{2} \le \left( \mathbf{b}^{T} A \mathbf{b} \right) \left( \mathbf{d}^{T} A^{-1} \mathbf{d} \right) $$ 이것이 등식이 되는 동치조건은 어떤 상수 $c \in \mathbb{R}$ 에 대해 $\mathbf{b} = c A^{-1} \mathbf{d}$ 혹은 $\mathbf{d} = c A \mathbf{b}$ 와 같이 나타나는 것이다.

---

• $X^{T}$ 는 행렬 $X$ 의 전치행렬이다.

설명

이 부등식은 코시-슈바르츠 부등식의 일반화로써, $A$ 가 항등행렬 $I$ 일 때 원래의 코시-슈바르츠 부등식과 같다. 부등식의 우변에 이차 형식이 등장하고, 자연스럽게 수리통계학에서의 활용도가 높다.

증명

Part 1. 부등식

양정부호 행렬의 역행렬과 제곱근 행렬: 양의 정부호 행렬 $A$ 의 고유쌍 $\left\{ \left( \lambda_{k} , e_{k} \right) \right\}_{k=1}^{n}$ 이 $\lambda_{1} > \cdots > \lambda_{n} > 0$ 순으로 정렬되어 있다고 하자. 직교행렬 $P = \begin{bmatrix} e_{1} & \cdots & e_{n} \end{bmatrix} \in \mathbb{R}^{n \times n}$ 와 대각행렬 $\Lambda = \diag \left( \lambda_{1} , \cdots , \lambda_{n} \right)$ 에 대해 $A$ 의 역행렬 $A^{-1}$ 과 제곱근 행렬 $\sqrt{A}$ 은 다음과 같다. $$ \begin{align*} A^{-1} =& P \Lambda^{-1} P^{T} = \sum_{k=1}^{n} {{ 1 } \over { \lambda_{k} }} e_{k} e_{k}^{T} \\ \sqrt{A} =& P \sqrt{\Lambda} P^{T} = \sum_{k=1}^{n} \sqrt{\lambda_{k}} e_{k} e_{k}^{T} \end{align*} $$

$A$ 가 양정부호 행렬이면 $A$ 의 제곱근 행렬은 $$ \sqrt{A} = P \sqrt{\Lambda} P^{T} = \sum_{k=1}^{n} \sqrt{\lambda_{k}} e_{k} e_{k}^{T} $$ 이므로 전치행렬 이어서 $A^{1/2} = \left( A^{1/2} \right)^{T}$ 가 성립하고, 같은 이유로 $A^{-1}$ 역시 전치행렬이다.

$\mathbf{x} := A^{1/2} \mathbf{b}$ 그리고 $\mathbf{y} := A^{-1/2} \mathbf{d}$ 라고 두면 원래의 코시-슈바르츠 부등식 $\left( \mathbf{x}^{T} \mathbf{y} \right) \le \left( \mathbf{x}^{T} \mathbf{x} \right) \left( \mathbf{y}^{T} \mathbf{y} \right)$ 에 따라 $$ \begin{align*} & \left( \mathbf{b}^{T} \mathbf{d} \right)^{2} \\ =& \left( \mathbf{b}^{T} A^{1/2} A^{-1/2} \mathbf{d} \right)^{2} \\ =& \left( \mathbf{b}^{T} \left( A^{1/2} \right)^{T} A^{-1/2} \mathbf{d} \right)^{2} \\ =& \left( \left( A^{1/2} \mathbf{b} \right)^{T} A^{-1/2} \mathbf{d} \right)^{2} \\ =& \left( \left( A^{1/2} \mathbf{b} \right)^{T} A^{-1/2} \mathbf{d} \right)^{2} \\ =& \left( \mathbf{x}^{T} \mathbf{y} \right)^{2} \\ \le & \left( \mathbf{x}^{T} \mathbf{x} \right) \left( \mathbf{y}^{T} \mathbf{y} \right) \\ \le & \left( \left( A^{1/2} \mathbf{b} \right)^{T} \left( A^{1/2} \mathbf{b} \right) \right) \left( \left( A^{-1/2} \mathbf{d} \right)^{T} \left( A^{-1/2} \mathbf{d} \right) \right) \\ =& \left( \mathbf{b}^{T} A \mathbf{b} \right) \left( \mathbf{d}^{T} A^{-1} \mathbf{d} \right) \end{align*} $$ 와 같이 일반화할 수 있다.

---

Part 2. 등식

어떤 상수가 $c = 0$ 이어서 $\mathbf{b} = \mathbf{0}$ 이거나 $\mathbf{d} = \mathbf{0}$ 면 등식은 자명하게 성립한다. 만약 둘 다 영벡터가 아니고, 일반성을 잃지 않고 $\mathbf{d} = c A \mathbf{b}$ 라고 가정하면 $$ \begin{align*} \mathbf{b}^{T} \mathbf{d} =& \mathbf{b}^{T} c A \mathbf{b} \\ =& c \mathbf{b}^{T} A \mathbf{b} \end{align*} $$ 도 성립하고 $$ \begin{align*} \mathbf{b}^{T} \mathbf{d} =& \left( {{ 1 } \over { c }} A^{-1} \mathbf{d} \right)^{T} \mathbf{d} \\ =& {{ 1 } \over { c }} \mathbf{d}^{T} A^{-1} \mathbf{d} \end{align*} $$ 도 성립한다. 이렇게 얻은 두 식의 가장 끝 양변끼리 곱하면 다음의 등식을 얻는다. $$ \left( \mathbf{b}^{T} \mathbf{d} \right)^{2} = \left( \mathbf{b}^{T} A \mathbf{b} \right) \left( \mathbf{d}^{T} A^{-1} \mathbf{d} \right) $$

■