ディープラーニングにおけるレイヤーとは？
定義
ディープラーニングで、ベクトル関数$L^{mn} : \mathbb{R}^{n} \to \mathbb{R}^{m}$をレイヤーlayer、層と呼ぶ。
説明
これらを層と呼ぶ理由は、何度も合成したものを視覚化したとき、層を重ねたように見えるからだ。
$$ L^{n_{m}n_{m-1}} \circ \cdots \circ L^{n_{2}n_{1}} : \begin{bmatrix} x_{1} \\ \vdots \\ x_{n_{1}}\end{bmatrix} \mapsto \begin{bmatrix} y_{1} \\ \vdots \\ \vdots \\ y_{n_{2}}\end{bmatrix} \mapsto \begin{bmatrix} z_{1} \\ \vdots \\ \vdots \\ \vdots \\ z_{n_{3}}\end{bmatrix} \mapsto \cdots \mapsto \begin{bmatrix} v_{1} \\ \vdots \\ \vdots \\ v_{n_{m-1}}\end{bmatrix} \mapsto \begin{bmatrix} w_{1} \\ \vdots \\ w_{n_{m}}\end{bmatrix} $$
レイヤーと活性化関数を合成したものを人工ニューラルネットワークと呼ぶ。特に、線形関数とステップ関数を合成したものを(単層) パーセプトロンと呼ぶ。そして「たくさん」合成したものを[ディープニューラルネットワーク]deep neural networkといい、ディープニューラルネットワークを利用して関数を近似することをディープラーニングdeep learning、深層学習と呼ぶ。
種類
- 線形層
- 畳み込み層
- プーリング層