📂머신러닝

다층 퍼셉트론(MLP), 완전연결 신경망(FCNN)

정의

$L_{i} : \mathbb{R}^{n_{i}} \to \mathbb{R}^{n_{i+1}}$을 완전연결층이라 하자. $\sigma : \mathbb{R} \to \mathbb{R}$을 활성화함수라 하자. 이들의 합성을 다층 퍼셉트론^{multilayer perceptron (MLP)}이라 한다.

$$\operatorname{MLP}(\mathbf{x}) = T_{N} \circ \overline{\sigma} \circ T_{N-1} \circ \overline{\sigma} \circ \cdots \circ T_{1} (\mathbf{x})$$

여기서 $\overline{\sigma}$는 $\sigma$를 각 성분에 적용하는 함수이다.

$$\overline{\sigma}(\mathbf{x}) = \begin{bmatrix} \sigma(x_{1}) \\ \sigma(x_{2}) \\ \vdots \\ \sigma(x_{n}) \end{bmatrix} \qquad \text{where } \mathbf{x} = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix}$$

설명

단층 퍼셉트론을 다시 여러번 합성한 것이기에 다층 퍼셉트론이라고 하며, 완전연결층을 주로 사용하였기 때문에 완전연결 신경망^{fully connected neural network (FCNN)}이라고도 한다. 이 둘은 같은 신경망을 가리키는 말이다.