딥러닝에서 레이어란?
📂머신러닝 딥러닝에서 레이어란? 정의 딥러닝에서, 선형변환 L m n : R n → R m L^{mn} : \mathbb{R}^{n} \to \mathbb{R}^{m} L mn : R n → R m 레이어 layer, 층 라 한다.
일반화 딥러닝에서, 고정된 b ∈ R m \mathbf{b} \in \mathbb{R}^{m} b ∈ R m 아핀변환 x ↦ L m n ( x ) + b \mathbf{x} \mapsto L^{mn}(\mathbf{x}) + \mathbf{b} x ↦ L mn ( x ) + b
설명 다시 말하자면 레이어라는 것은 선형 인 벡터함수 를 의미한다. 반면 비선형 인 스칼라 함수 는 활성화 함수 라 부른다.
이를 층이라 부르는 이유는 여러번 합성 한 것을 시각화했을 때 층을 겹겹이 쌓아올린 것 같이 보이기 때문이다.
L n m n m − 1 ∘ ⋯ ∘ L n 2 n 1 : [ x 1 ⋮ x n 1 ] ↦ [ y 1 ⋮ ⋮ y n 2 ] ↦ [ z 1 ⋮ ⋮ ⋮ z n 3 ] ↦ ⋯ ↦ [ v 1 ⋮ ⋮ v n m − 1 ] ↦ [ w 1 ⋮ w n m ]
L^{n_{m}n_{m-1}} \circ \cdots \circ L^{n_{2}n_{1}} :
\begin{bmatrix} x_{1} \\ \vdots \\ x_{n_{1}}\end{bmatrix}
\mapsto
\begin{bmatrix} y_{1} \\ \vdots \\ \vdots \\ y_{n_{2}}\end{bmatrix}
\mapsto
\begin{bmatrix} z_{1} \\ \vdots \\ \vdots \\ \vdots \\ z_{n_{3}}\end{bmatrix}
\mapsto
\cdots
\mapsto
\begin{bmatrix} v_{1} \\ \vdots \\ \vdots \\ v_{n_{m-1}}\end{bmatrix}
\mapsto
\begin{bmatrix} w_{1} \\ \vdots \\ w_{n_{m}}\end{bmatrix}
L n m n m − 1 ∘ ⋯ ∘ L n 2 n 1 : x 1 ⋮ x n 1 ↦ y 1 ⋮ ⋮ y n 2 ↦ z 1 ⋮ ⋮ ⋮ z n 3 ↦ ⋯ ↦ v 1 ⋮ ⋮ v n m − 1 ↦ w 1 ⋮ w n m
레이어와 활성화 함수를 합성한 것을 인공 신경망 이라 한다. 특히나 선형 함수와 계단함수 를 합성한 것을 (단층) 퍼셉트론 이라 부른다. 레이어와 활성화 함수를 "많이" 합성한 것을 심층 신경망deep neural network 이라 하고, 심층 신경망을 이용해 함수를 근사하는 것을 딥러닝 deep learning, 심층학습 이라 한다.
종류 