트랜스포머

정의¹ ²

임베딩 차원이 $d$이고 길이가 $n$인 수열을 나타내는 행렬 $\mathbf{X} \in \mathbb{R}^{d \times n}$에 대해서, 함수 $\operatorname{Attention} : \mathbb{R}^{d \times n} \to \mathbb{R}^{d \times n}$를 다음과 같이 정의하고 어텐션^attention이라 하자.

$$ \operatorname{Attention}(\mathbf{X}) = \mathbf{X} + \sum_{h=1}^{H} \mathbf{W}_{h}^{O} \left( \mathbf{W}_{h}^{V}\mathbf{X} \right) \operatorname{Softmax} \left[ (\mathbf{W}_{h}^{K}\mathbf{X})^{\mathsf{T}} (\mathbf{W}_{h}^{Q}\mathbf{X}) \right] $$

이때 $H$는 헤드의 개수, $m$은 헤드 하나의 차원이고, 각각의 $h = 1, \dots, H$에 대해 $\mathbf{W}_{h}^{Q}, \mathbf{W}_{h}^{K}, \mathbf{W}_{h}^{V} \in \mathbb{R}^{m \times d}$, $\mathbf{W}_{h}^{O} \in \mathbb{R}^{d \times m}$이다. 그리고 $\operatorname{Softmax}$는 주어진 행렬 $\mathbf{X} = \begin{bmatrix} \mathbf{x}_{1} & \cdots & \mathbf{x}_{n}\end{bmatrix}$에 대해서 각 열벡터에 소프트맥스 $\operatorname{softmax}$를 취해서 각 열의 합이 $1$이 되게 하는 함수를 말한다.

$$ \operatorname{Softmax}(\mathbf{X}) := \begin{bmatrix} \underset{\vert}{\overset{\vert}{\operatorname{softmax}(\mathbf{x}_{1})}} & \cdots & \underset{\vert}{\overset{\vert}{\operatorname{softmax}(\mathbf{x}_{n})}} \end{bmatrix} $$

순방향신경망 $\operatorname{FF} : \mathbb{R}^{d \times n} \to \mathbb{R}^{d \times n}$를 다음과 같이 정의하자.

$$ \begin{align*} \operatorname{FF}(\mathbf{X}) &= \mathbf{X} + \mathbf{W}_{2} \operatorname{ReLU} \left( \mathbf{W}_{1} \mathbf{X} + \mathbf{b}_{1} \mathbf{1}^{\mathsf{T}} \right) + \mathbf{b}_{2} \mathbf{1}^{\mathsf{T}} \end{align*} $$

$$ \mathbf{W}_{1} \in \mathbb{R}^{r \times d}, \quad \mathbf{W}_{2} \in \mathbb{R}^{d \times r} $$

$$ \mathbf{b}_{1} \in \mathbb{R}^{r}, \quad \mathbf{b}_{2} \in \mathbb{R}^{d} $$

여기서 $r$은 $\operatorname{FF}$의 은닉층 차원이고, $\operatorname{ReLU}$는 렐루를 성분별로 적용한 것이다. 또한 $\mathbf{1} \in \mathbb{R}^{n}$은 모든 성분이 $1$인 벡터로, $\mathbf{b}_{k} \mathbf{1}^{\mathsf{T}}$는 바이어스 $\mathbf{b}_{k}$를 $\mathbf{X}$의 모든 열에 똑같이 더하는 브로드캐스트를 뜻한다.

트랜스포머 블럭을 아래와 같이 정의하자.

$$ \operatorname{Block} = \operatorname{FF} \circ \operatorname{Attention} $$