📂머신러닝

Leaky ReLU

정의¹

머신러닝에서, 다음의 함수를 리키 렐루^{leaky rectified linear unit, Leaky ReLU}라 한다.

$$ \operatorname{LeakyReLU}(x) := \begin{cases} x & x \gt 0 \\ \alpha x & x \le 0 \end{cases} $$

여기서 $\alpha$는 작은 양수 상수이며, 보통 $0.01$을 쓴다.

그림에서는 개형이 잘 보이도록 $\alpha = 0.1$로 그렸다.

설명

리키 렐루는 $\operatorname{ReLU}$의 변형으로, Maas, Hannun, Ng가 2013년 음성 인식을 위한 음향 모델 연구에서 제안했다¹. '리키'^{leaky, 새는}라는 이름은 $\operatorname{ReLU}$가 음수 입력을 완전히 막아 $0$으로 만드는 것과 달리, 작은 기울기 $\alpha$를 통해 음수 입력이 조금씩 '새어 나가도록' 두기 때문에 붙었다.

$\operatorname{ReLU}$는 음수 영역에서 출력과 기울기가 모두 $0$이므로, 학습 중 어떤 뉴런의 입력이 항상 음수가 되어 버리면 그 뉴런으로는 기울기가 전혀 흐르지 않아 더 이상 갱신되지 않는다. 이를 죽은 $\operatorname{ReLU}$^{dying ReLU} 문제라 하는데, 리키 렐루는 음수 영역에도 기울기 $\alpha \gt 0$를 남겨 두어 이 문제를 피한다. 원 논문에서는 $\alpha = 0.01$을 사용했다.

한편 기울기 $\alpha$를 고정된 상수가 아니라 학습 가능한 파라미터로 두는 변형인 $\operatorname{PReLU}$^{parametric ReLU}도 뒤따라 제안되었다².

성질

여러가지 표현³

$0 \lt \alpha \lt 1$일 때 다음과 같이 여러가지 방법으로 나타낼 수 있다.

$$ \begin{align*} \operatorname{LeakyReLU}(x) &:= \begin{cases} x & x \gt 0 \\ \alpha x & x \le 0 \end{cases} \\[1em] &= \max \left\{ \alpha x, x \right\} \\[1em] &= \operatorname{ReLU}(x) - \alpha \operatorname{ReLU}(-x) \\[1em] &= \alpha x + (1 - \alpha) \operatorname{ReLU}(x) \end{align*} $$

특히 마지막 표현에 따르면, 리키 렐루는 항등함수 $x$와 $\operatorname{ReLU}$, 즉 램프 함수의 볼록결합이다.

도함수

도함수는 다음과 같다.

$$ \operatorname{LeakyReLU}^{\prime}(x) = \begin{cases} 1 & x \gt 0 \\ \alpha & x \lt 0 \end{cases} $$

$\alpha \ne 1$이면 $x = 0$에서 미분불가능하지만, $\operatorname{ReLU}$와 마찬가지로 실전에서는 문제가 되지 않는다. 구현에서는 그 점의 기울기를 $\alpha$나 $1$로 두면 된다.

그 밖의 성질

• $c \ge 0$에 대해 $\operatorname{LeakyReLU}(cx) = c \operatorname{LeakyReLU}(x)$가 성립한다.

• 가역성: $\alpha \gt 0$이면 증가함수이므로 전단사이고, 역함수는 음수 영역의 기울기가 $1/\alpha$인 리키 렐루다. 음수 영역의 기울기를 명시해 $\operatorname{LeakyReLU}_{\alpha}$라 쓰면 다음과 같다.

$$ \left( \operatorname{LeakyReLU}_{\alpha} \right)^{-1} = \operatorname{LeakyReLU}_{1/\alpha} $$

같이보기

• 램프 함수
• 활성화함수
  • $\operatorname{ReLU}$
  • 소프트플러스 함수
• 기울기 소실