ベクトルと行列の演算／表記法テーブル
概要
ベクトルと行列に関する様々な記法や演算をまとめた文書だ。
ベクトル
ベクトルは主に小文字のボールド体で表記され、特に説明がない場合は$n\times 1$ 行列、すなわち列ベクトルを指す。ベクトル $\mathbf{x}$の$i$番目の成分は$x_{i}$のように示される。
$$ \mathbf{x}=\begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix},\quad\mathbf{y}=\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} $$
行ベクトルは$\mathbf{x}^{T}$のように表記し、${}^{T}$を転置と呼ぶ。
$$ \mathbf{x}^{T}=\begin{bmatrix} x_{1} & x_{2} & \cdots & x_{n} \end{bmatrix},\quad\mathbf{y}^{T}=\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} $$
ベクトルのノルム
ベクトルのノルムは次のように定義され、3次元空間でのベクトルの大きさと同じ概念である。
$$ \left\| \mathbf{x} \right\| =\sqrt{\sum \limits _{i=1} ^{n} x_{i}^{2} },\quad \left\| \mathbf{x} \right\|^{2}=\sum \limits _{i=1} ^{n} x_{i}^{2} $$
二つのベクトルの内積
同じ大きさの行ベクトルと列ベクトルの行列積を内積という。内積の結果はスカラー(定数)である。
$$ \begin{align*} \mathbf{x}^{T}\mathbf{y}&=\begin{bmatrix} x_{1} & x_{2} & \cdots & x_{n} \end{bmatrix}\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} \\ &=x_{1}y_{1}+x_{2}y_{2}+\cdots+x_{n}y_{n} \\ &=\sum \limits_{i=1}^{n} x_{i}y_{i} \end{align*} $$
ノルムはスカラーなので$\mathbf{x}^{T}\mathbf{y}=\mathbf{y}^{T}\mathbf{x}$が成り立ち、内積で表すと次のようになる。
$$ \left\| \mathbf{x} \right\| =\sqrt{\mathbf{x}^{T} \mathbf{x} },\quad \left\| \mathbf{x} \right\|^{2} =\mathbf{x}^{T} \mathbf{x} $$
二つのベクトルの外積
次のように列ベクトルと行ベクトルの行列積を二つのベクトルの外積outer productと言い、(cross productではない)。外積の結果は$n \times n$行列である。
$$ \begin{align*} \mathbf{x}\mathbf{y}^{T} &= \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix} \begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \\ &= \begin{bmatrix} x_{1}y_{1} & x_{1}y_{2} & \cdots & x_{1}y_{n} \\ x_{2}y_{1} & x_{2}y_{2} & \cdots & x_{2}y_{n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n}y_{1} & x_{n}y_{2} & \cdots & x_{n}y_{n} \end{bmatrix} \\ &= \begin{bmatrix} x_{1}\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \\ x_{2}\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \\ \vdots \\ x_{n}\begin{bmatrix} y_{1} & y_{2} & \cdots & y_{n} \end{bmatrix} \end{bmatrix} \\ &= \begin{bmatrix} x_{1}\mathbf{y}^{T} \\ x_{2}\mathbf{y}^{T} \\ \vdots \\ x_{n}\mathbf{y}^{T} \end{bmatrix} \end{align*} $$
交換法則は成り立たない。
$$ \mathbf{x} \mathbf{y}^{T} \ne \mathbf{y} \mathbf{x}^{T} $$
また、外積の対角和が内積と同じであることがわかる。
$$ \mathbf{x}^{T}\mathbf{y} =\sum \limits _{i=1} ^{n} x_{i}y_{i} =\text{Tr}\left( \mathbf{x}\mathbf{y}^{T} \right) =\text{Tr}\left( \mathbf{y}\mathbf{x}^{T} \right) $$
したがって、次の式が成り立つ。
$$ \begin{align*} \left\| \mathbf{x} \right\| &=\sqrt{\sum \limits _{i=1} ^{n} x_{i}^{2}}=\sqrt{\mathbf{x}^{T}\mathbf{x}}=\sqrt{\text{Tr}\left( \mathbf{x}\mathbf{x}^{T} \right)} \\ \left\| \mathbf{x} \right\|^{2} &=\sum \limits _{i=1} ^{n} x_{i}^{2}=\mathbf{x}^{T}\mathbf{x}=\text{Tr}\left( \mathbf{x}\mathbf{x}^{T} \right) \end{align*} $$
行列
一般に大文字で表記され、任意の行列は通常$m\times n$行列と表記される。行ベクトルを上下に積み重ねたり、列ベクトルを左右に並べた形を意味する。この文書では、行列を列ベクトルの行ベクトルとして扱う。$i$番目の列ベクトルを$\mathbf{x}_{i} = \begin{bmatrix} x_{1i} & x_{2i} & \cdots & x_{mi} \end{bmatrix}^{T}$と表記する場合、