📂머신러닝

소프트플러스 함수란?

정의¹

다음의 함수를 소프트플러스^softplus라고 한다.

$$ \zeta (x) = \ln (1 + e^{x}) $$

설명

2001년에 Dugas 외 4명의 논문 『Incorporating Second-Order Functional Knowledge for Better Option Pricing』에서 소개되었다.

$x^{+} = \max (0, x)$의 부드러운 버전이며, 이것이 이름의 모티브이다. $x^{+}$는 10년 뒤 ReLU라는 이름을 갖게된다. $0$에서 미분가능한 ReLU라고 받아들이면 된다. 구간 $(-3, 3)$ 밖에서는 ReLU와 거의 같다.

또한 로지스틱 시그모이드의 역도함수이며, 시그모이드와 여러 관계식을 갖는다.

성질

• 볼록함수이다.
• 미분가능하며, $\zeta^{\prime} \gt 0$이다.

$\sigma$를 로지스틱 시그모이드라고 하자.

$$\log \sigma (x) = -\zeta (-x)$$ $$\dfrac{d}{dx}\zeta (x) = \sigma (x)$$ $$\zeta^{-1}(x) = \log\left( e^{x} - 1 \right), \quad \forall x > 0$$ $$\zeta (x) = \int_{-\infty}^{x}\sigma (y)dy$$ $$\zeta (x) - \zeta (-x) = x$$