벡터와 행렬의 연산/표기법 테이블
개요
벡터와 행렬에 대한 여러가지 표기법과 연산을 정리한 문서이다.
벡터
벡터는 주로 소문자 볼드체로 표기하며 아무 설명이 없으면 $n\times 1$ 행렬, 즉 열벡터를 말한다. 벡터 $\mathbf{x}$의 $i$번째 성분은 $x_{i}$와 같이 나타낸다.
$$ \mathbf{x}=\begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix},\quad\mathbf{y}=\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} $$
행벡터는 $\mathbf{x}^{T}$와 같이 표기하고, ${}^{T}$를 전치라고 한다.
$$ \mathbf{x}^{T}=\begin{bmatrix} x_{1} & x_{2} & \cdots & x_{n} \end{bmatrix},\quad\mathbf{y}^{T}=\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} $$
벡터의 놈
벡터의 놈은 다음과 같이 정의되며 3차원 공간에서 벡터의 크기와 같은 개념이다.
$$ \left\| \mathbf{x} \right\| =\sqrt{\sum \limits _{i=1} ^{n} x_{i}^{2} },\quad \left\| \mathbf{x} \right\|^{2}=\sum \limits _{i=1} ^{n} x_{i}^{2} $$
두 벡터의 내적
같은 크기의 행벡터와 열벡터의 행렬곱을 내적이라 한다. 내적의 결과는 스칼라(상수)이다.
$$ \begin{align*} \mathbf{x}^{T}\mathbf{y}&=\begin{bmatrix} x_{1} & x_{2} & \cdots & x_{n} \end{bmatrix}\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} \\ &=x_{1}y_{1}+x_{2}y_{2}+\cdots+x_{n}y_{n} \\ &=\sum \limits_{i=1}^{n} x_{i}y_{i} \end{align*} $$
놈은 스칼라이므로 $\mathbf{x}^{T}\mathbf{y}=\mathbf{y}^{T}\mathbf{x}$가 성립하고, 놈을 내적으로 표현하면 다음과 같다.
$$ \left\| \mathbf{x} \right\| =\sqrt{\mathbf{x}^{T} \mathbf{x} },\quad \left\| \mathbf{x} \right\|^{2} =\mathbf{x}^{T} \mathbf{x} $$
두 벡터의 외적
다음과 같이 열벡터와 행벡터의 행렬곱을 두 벡터의 외적outer product이라 한다(cross product가 아니다). 외적의 결과는 $n \times n$ 행렬이다.
$$ \begin{align*} \mathbf{x}\mathbf{y}^{T} &= \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix} \begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \\ &= \begin{bmatrix} x_{1}y_{1} & x_{1}y_{2} & \cdots & x_{1}y_{n} \\ x_{2}y_{1} & x_{2}y_{2} & \cdots & x_{2}y_{n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n}y_{1} & x_{n}y_{2} & \cdots & x_{n}y_{n} \end{bmatrix} \\ &= \begin{bmatrix} x_{1}\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \\ x_{2}\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \\ \vdots \\ x_{n}\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \end{bmatrix} \\ &= \begin{bmatrix} x_{1}\mathbf{y}^{T} \\ x_{2}\mathbf{y}^{T} \\ \vdots \\ x_{n}\mathbf{y}^{T} \end{bmatrix} \end{align*} $$
교환법칙이 성립하지 않는다.
$$ \mathbf{x} \mathbf{y}^{T} \ne \mathbf{y} \mathbf{x}^{T} $$
또한 외적의 대각합이 내적과 같다는 것을 알 수 있다.
$$ \mathbf{x}^{T}\mathbf{y} =\sum \limits _{i=1} ^{n} x_{i}y_{i} =\text{Tr}\left( \mathbf{x}\mathbf{y}^{T} \right) =\text{Tr}\left( \mathbf{y}\mathbf{x}^{T} \right) $$
따라서 다음의 식이 성립한다.
$$ \begin{align*} \left\| \mathbf{x} \right\| &=\sqrt{\sum \limits _{i=1} ^{n} x_{i}^{2}}=\sqrt{\mathbf{x}^{T}\mathbf{x}}=\sqrt{\text{Tr}\left( \mathbf{x}\mathbf{x}^{T} \right)} \\ \left\| \mathbf{x} \right\|^{2} &=\sum \limits _{i=1} ^{n} x_{i}^{2}=\mathbf{x}^{T}\mathbf{x}=\text{Tr}\left( \mathbf{x}\mathbf{x}^{T} \right) \end{align*} $$
행렬
흔히 대문자로 표기하며, 임의의 행렬은 보통 $m\times n$ 행렬이라 표기한다. 행벡터를 상하로 쌓거나, 열벡터를 좌우로 나열한 꼴을 말한다. 본 문서에서는 행렬을 열벡터들의 행벡터로 취급한다. $i$번째 열벡터를 $\mathbf{x}_{i} = \begin{bmatrix} x_{1i} & x_{2i} & \cdots & x_{mi} \end{bmatrix}^{T}$라고 표기하면,
$$ \begin{align*} \mathbf{X} &= \begin{bmatrix} \mathbf{x}_{1} & \mathbf{x}_{2} & \cdots & \mathbf{x}_{m} \end{bmatrix} \\ &= \begin{bmatrix} \begin{bmatrix} x_{11} \\ x_{21} \\ \vdots \\ x_{n1} \end{bmatrix} & \begin{bmatrix} x_{12} \\ x_{22} \\ \vdots \\ x_{n2} \end{bmatrix} & \cdots & \begin{bmatrix} x_{1m} \\ x_{2m} \\ \vdots \\ x_{nm} \end{bmatrix} \end{bmatrix} \\ &= \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1m} \\ x_{21} & x_{22} & \cdots & x_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nm} \end{bmatrix} \\ &= \begin{bmatrix} x_{11} & x_{21} & \cdots & x_{m1} \\ x_{12} & x_{22} & \cdots & x_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ x_{1n} & x_{2n} & \cdots & x_{mn} \end{bmatrix}^{T} \\ &= \begin{bmatrix} \mathbf{x}_{1}^{T} \\ \mathbf{x}_{2}^{T} \\ \vdots \\ \mathbf{x}_{2}^{T} \\ \end{bmatrix}^{T} \end{align*} $$
행렬곱의 $ij$-성분은 앞 행렬의 $i$-행과 뒤 행렬의 $j$-열의 내적이므로,
$$ \mathbf{X}^{T} = \begin{bmatrix} \mathbf{x}_{1}^{T} \\[0.4em] \mathbf{x}_{2}^{T} \\[0.4em] \vdots \\[0.4em] \mathbf{x}_{m}^{T} \end{bmatrix},\qquad \mathbf{Y} = \begin{bmatrix} \mathbf{y}_{1} & \mathbf{y}_{2} & \cdots & \mathbf{y}_{n} \end{bmatrix} $$
$$ \mathbf{X}^{T} \mathbf{Y} = \begin{bmatrix} \mathbf{x}_{1}^{T} \\[0.4em] \mathbf{x}_{2}^{T} \\[0.4em] \vdots \\[0.4em] \mathbf{x}_{m}^{T} \end{bmatrix} \begin{bmatrix} \mathbf{y}_{1} & \mathbf{y}_{2} & \cdots & \mathbf{y}_{n} \end{bmatrix} = \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{y}_{1} & \cdots & \mathbf{x}_{1}^{T}\mathbf{y}_{n} \\[0.5em] \vdots & \ddots & \vdots \\[0.5em] \mathbf{x}_{m}^{T}\mathbf{y}_{1} & \cdots & \mathbf{x}_{m}^{T}\mathbf{y}_{n} \end{bmatrix} $$
행렬의 놈
행렬의 놈도 벡터와 마찬가지로 각 성분의 제곱의 합으로 정의한다.
$$ \left\| \mathbf{X} \right\| = \sqrt{\sum \limits_{i=1}^{m} \sum \limits_{j=1}^{n} \left( x_{ij} \right)^{2}} $$
이를 $\left\| \mathbf{X} \right\|_{F} $와 같이 표기하여 프로베니우스 놈Frobenius norm 이라 부르기도 한다. 다음과 같이 자기 자신과의 곱의 트레이스로 나타낼 수 있다.
$$ \begin{align*} \text{Tr}(\mathbf{X}^{T}\mathbf{X}) &= \text{Tr}\left( \begin{bmatrix} \mathbf{x}_{1}^{T} \\ \mathbf{x}_{2}^{T} \\ \vdots \\ \mathbf{x}_{n}^{T} \end{bmatrix}\begin{bmatrix} \mathbf{x}_{1} & \mathbf{x}_{2} & \cdots & \mathbf{x}_{n} \end{bmatrix} \right) \\ &= \text{Tr}\left( \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{x}_{1} & \mathbf{x}_{1}^{T}\mathbf{x}_{2} & \cdots & \mathbf{x}_{1}^{T}\mathbf{x}_{n} \\ \mathbf{x}_{2}^{T}\mathbf{x}_{1} & \mathbf{x}_{2}^{T}\mathbf{x}_{2} & \cdots & \mathbf{x}_{2}^{T}\mathbf{x}_{n} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{x}_{n}^{T}\mathbf{x}_{1} & \mathbf{x}_{n}^{T}\mathbf{x}_{2} & \cdots & \mathbf{x}_{n}^{T}\mathbf{x}_{n} \end{bmatrix} \right) \\ &=\mathbf{x}_{1}^{T}\mathbf{x}_{1} + \mathbf{x}_{2}^{T}\mathbf{x}_{2} + \cdots + \mathbf{x}_{n}^{T}\mathbf{x}_{n} \\ &=\sum \limits_{j=1}^{n} \mathbf{x}_{j}^{T}\mathbf{x}_{j} = \sum \limits_{j=1}^{n} \left\| \mathbf{x}_{j} \right\|^{2} \\ &= \sum \limits_{j=1}^{n} \sum \limits_{i=1}^{m} \left( x_{ij} \right)^{2} \\ &=\left\| \mathbf{x} \right\|_{F}^{2} \end{align*} $$
즉 $\mathbf{X}=\begin{bmatrix}\mathbf{x}_{1} &\cdots &\mathbf{x}_{n} \end{bmatrix}$이라고 하면,
$$ \begin{equation} \left\| \mathbf{X} \right\| _{F}^{2} =\text{Tr}\left( \mathbf{X}^{T}\mathbf{X} \right)=\sum \limits_{j=1}^{n}\left\| \mathbf{x}_{j} \right\|^{2} \end{equation} $$
행렬-벡터 연산
행렬-벡터 곱
$m\times n$행렬 $\mathbf{X}^{T}$와 $n\times 1$벡터 $\mathbf{y}$의 곱은 다음과 같다.
$$ \begin{equation}\begin{aligned} \mathbf{X}^{T}\mathbf{y} &= \begin{bmatrix} \mathbf{x}_{1}^{T} \\ \mathbf{x}_{2}^{T} \\ \vdots \\ \mathbf{x}_{m}^{T} \end{bmatrix} \mathbf{y} = \begin{bmatrix} x_{11} & x_{21} & \cdots & x_{n1} \\ x_{12} & x_{22} & \cdots & x_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ x_{1m} & x_{2m} & \cdots & x_{nm} \end{bmatrix}\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} \\ &=\begin{bmatrix} x_{11}y_{1} + x_{21}y_{2} + \cdots + x_{n1}y_{n} \\ x_{12}y_{1} + x_{22}y_{2} + \cdots + x_{n2}y_{n} \\ \vdots \\ x_{1m}y_{1} + x_{2m}y_{2} + \cdots + x_{nm}y_{n} \end{bmatrix} =\begin{bmatrix} \sum _{i=1} ^{n}x_{i1}y_{i} \\ \sum _{i=1} ^{n}x_{i2}y_{i} \\ \vdots \\ \sum _{i=1} ^{n}x_{im}y_{i} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{y} \\ \mathbf{x}_{2}^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{m}^{T}\mathbf{y} \end{bmatrix}\end{aligned} \end{equation} $$
따라서 놈은 다음과 같다
$$ \begin{equation} \left\| \mathbf{X}^{T}\mathbf{y} \right\|^{2} = \sum \limits _{i=1} ^{m} \left( \mathbf{x}_{i}^{T}\mathbf{y} \right)^{2} \end{equation} $$
행렬-행렬 곱
$n \times m$행렬 $\mathbf{X}^{T}$와 $m \times k$행렬 $\mathbf{Y}$의 곱은 다음과 같다.
$$ \begin{align*} \mathbf{X}^{T}\mathbf{Y} &= \begin{bmatrix} \mathbf{x}_{1}^{T} \\ \mathbf{x}_{2}^{T} \\ \vdots \\ \mathbf{x}_{n}^{T} \end{bmatrix}\begin{bmatrix} \mathbf{y}_{1} & \mathbf{y}_{2} & \cdots & \mathbf{y}_{k} \end{bmatrix} \\ &= \begin{bmatrix} \begin{bmatrix} x_{11} & x_{21} & \cdots & x_{m1} \end{bmatrix} \\[0.5em] \begin{bmatrix} x_{12} & x_{22} & \cdots & x_{m2} \end{bmatrix} \\ \vdots \\ \begin{bmatrix} x_{1n} & x_{2n} & \cdots & x_{mn} \end{bmatrix} \end{bmatrix} \begin{bmatrix} \begin{bmatrix} y_{11} \\ y_{21} \\ \vdots \\ y_{m1} \end{bmatrix} & \begin{bmatrix} y_{12} \\ y_{22} \\ \vdots \\ y_{m2} \end{bmatrix} & \cdots & \begin{bmatrix} y_{1k} \\ y_{2k} \\ \vdots \\ y_{mk} \end{bmatrix} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{y}_{1} & \mathbf{x}_{1}^{T}\mathbf{y}_{2} & \cdots & \mathbf{x}_{1}^{T}\mathbf{y}_{k} \\ \mathbf{x}_{2}^{T}\mathbf{y}_{1} & \mathbf{x}_{2}^{T}\mathbf{y}_{2} & \cdots & \mathbf{x}_{2}^{T}\mathbf{y}_{k} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{x}_{N}^{T}\mathbf{y}_{1} & \mathbf{x}_{N}^{T}\mathbf{y}_{2} & \cdots & \mathbf{x}_{N}^{T}\mathbf{y}_{k} \end{bmatrix} \\ &= \begin{bmatrix} \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{y}_{1} \\ \mathbf{x}_{2}^{T}\mathbf{y}_{1} \\ \vdots \\ \mathbf{x}_{n}^{T}\mathbf{y}_{1} \end{bmatrix} & \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{y}_{2} \\ \mathbf{x}_{2}^{T}\mathbf{y}_{2} \\ \vdots \\ \mathbf{x}_{n}^{T}\mathbf{y}_{2} \end{bmatrix} & \cdots & \begin{bmatrix} \mathbf{x}_{1}^{T}\mathbf{y}_{k} \\ \mathbf{x}_{2}^{T}\mathbf{y}_{k} \\ \vdots \\ \mathbf{x}_{n}^{T}\mathbf{y}_{k} \end{bmatrix} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{X}^{T}\mathbf{y}_{1} & \mathbf{X}^{T}\mathbf{y}_{2} & \cdots & \mathbf{X}^{T}\mathbf{y}_{k} \end{bmatrix} \end{align*} $$
그러면$(1)$, $(3)$에 의해 다음의 식이 성립한다.
$$ \text{Tr}\left( \left( \mathbf{X}^{T}\mathbf{Y} \right)^{T}\left( \mathbf{X}^{T}\mathbf{Y} \right) \right) = \sum \limits_{i=1}^{k}\left\| \mathbf{X}^{T}\mathbf{y}_{i} \right\|^{2}=\sum \limits_{i=1}^{k}\sum \limits_{j=1}^{n}\left( \mathbf{x}_{j}^{T}\mathbf{y}_{i} \right)^{2} $$
벡터-행렬 이차 형식
$\mathbf{x}$를 $n \times 1$ 벡터, $\mathbf{R} = \begin{bmatrix} \mathbf{r}_{1} & \mathbf{r}_{2} & \cdots & \mathbf{r}_{n} \end{bmatrix}^{T}$을 $n\times n$ 행렬이라고 하자. 그러면 $(2)$의 식을 이용해서 다음의 결과를 얻는다.
$$ \begin{align*} \mathbf{x}^{T} \mathbf{R}^{T} \mathbf{x} &= \mathbf{x}^{T}\begin{bmatrix} \sum _{i=1}^{n}r_{i1}x_{i} \\ \sum _{i=1}^{n}r_{i2}x_{i} \\ \vdots \\ \sum _{i=1}^{n}r_{in}x_{i} \end{bmatrix} \\ &= \begin{bmatrix} x_{1} & x_{2} & \cdots & x_{n} \end{bmatrix}\begin{bmatrix} \sum _{i=1}^{n}r_{i1}x_{i} \\ \sum _{i=1}^{n}r_{i2}x_{i} \\ \vdots \\ \sum _{i=1}^{n}r_{in}x_{i} \end{bmatrix} \\ &= x_{1}\sum _{i=1}^{n} r_{i1} x_{i} + x_{2}\sum _{i=1} ^{n}r_{i2}x_{i}+\cdots + x_{n}\sum _{i=1} ^{n}r_{in}x_{i} \\ &= \sum \limits _{j=1} ^{n}\sum \limits _{i=1} ^{n}x_{j}r_{ij}x_{i} \\ &= \sum \limits _{j=1} ^{n}\sum \limits _{i=1} ^{n}x_{i}r_{ij}x_{j} \end{align*} $$