多層パーセプトロン(MLP), 全結合ニューラルネットワーク(FCNN)
定義
$L_{i} : \mathbb{R}^{n_{i}} \to \mathbb{R}^{n_{i+1}}$を完全連結層とする。$\sigma : \mathbb{R} \to \mathbb{R}$を活性化関数とする。これらの合成を多層パーセプトロンmultilayer perceptron (MLP)という。
$$ \operatorname{MLP}(\mathbf{x}) = T_{N} \circ \overline{\sigma} \circ T_{N-1} \circ \overline{\sigma} \circ \cdots \circ T_{1} (\mathbf{x}) $$
ここで、$\overline{\sigma}$は各成分に$\sigma$を適用する関数である。
$$ \overline{\sigma}(\mathbf{x}) = \begin{bmatrix} \sigma(x_{1}) \\ \sigma(x_{2}) \\ \vdots \\ \sigma(x_{n}) \end{bmatrix} \qquad \text{where } \mathbf{x} = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix} $$
説明
単層パーセプトロンを再び何度も合成したものなので、多層パーセプトロンと呼ばれ、完全連結層を主に使用したために完全連結ニューラルネットワークfully connected neural network (FCNN)とも呼ばれる。この二つは同じニューラルネットワークを指す言葉である。