📂機械学習

多層パーセプトロン(MLP), 全結合ニューラルネットワーク(FCNN)

定義

$L_{i} : \mathbb{R}^{n_{i}} \to \mathbb{R}^{n_{i+1}}$を完全連結層とする。$\sigma : \mathbb{R} \to \mathbb{R}$を活性化関数とする。これらの合成を多層パーセプトロン^{multilayer perceptron (MLP)}という。

$$\operatorname{MLP}(\mathbf{x}) = T_{N} \circ \overline{\sigma} \circ T_{N-1} \circ \overline{\sigma} \circ \cdots \circ T_{1} (\mathbf{x})$$

ここで、$\overline{\sigma}$は各成分に$\sigma$を適用する関数である。

$$\overline{\sigma}(\mathbf{x}) = \begin{bmatrix} \sigma(x_{1}) \\ \sigma(x_{2}) \\ \vdots \\ \sigma(x_{n}) \end{bmatrix} \qquad \text{where } \mathbf{x} = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix}$$

説明

単層パーセプトロンを再び何度も合成したものなので、多層パーセプトロンと呼ばれ、完全連結層を主に使用したために完全連結ニューラルネットワーク^{fully connected neural network (FCNN)}とも呼ばれる。この二つは同じニューラルネットワークを指す言葉である。