딥러닝에서 레이어란?
정의
딥러닝에서 벡터 함수 $L^{mn} : \mathbb{R}^{n} \to \mathbb{R}^{m}$를 레이어layer, 층라 한다.
설명
이를 층이라 부르는 이유는 여러번 합성한 것을 시각화했을 때 층을 겹겹이 쌓아올린 것 같이 보이기 때문이다.
$$ L^{n_{m}n_{m-1}} \circ \cdots \circ L^{n_{2}n_{1}} : \begin{bmatrix} x_{1} \\ \vdots \\ x_{n_{1}}\end{bmatrix} \mapsto \begin{bmatrix} y_{1} \\ \vdots \\ \vdots \\ y_{n_{2}}\end{bmatrix} \mapsto \begin{bmatrix} z_{1} \\ \vdots \\ \vdots \\ \vdots \\ z_{n_{3}}\end{bmatrix} \mapsto \cdots \mapsto \begin{bmatrix} v_{1} \\ \vdots \\ \vdots \\ v_{n_{m-1}}\end{bmatrix} \mapsto \begin{bmatrix} w_{1} \\ \vdots \\ w_{n_{m}}\end{bmatrix} $$
레이어와 활성화 함수를 합성한 것을 인공신경망이라 한다. 특히나 선형 함수와 계단함수를 합성한 것을 (단층) 퍼셉트론이라 부른다. 과 "많이" 합성한 것을 [심층신경망]deep neural network이라 하고, 심층신경망을 이용해 함수를 근사하는 것을 딥러닝deep learning, 심층학습이라 한다.
종류
- 선형층
- 합성곱층
- 풀링층