ソフトプラス関数とは?
説明
2001年にDugasらによる論文『Incorporating Second-Order Functional Knowledge for Better Option Pricing』で紹介された。
$x^{+} = \max (0, x)$のなめらかなバージョンで、これが名前のモチーフである。$x^{+}$は10年後にReLUとして知られるようになる。$0$で述べられているように、微分可能なReLUと考えればよい。区間$(-3, 3)$の外では、ReLUとほぼ同じである。
また、ロジスティックシグモイドの逆関数であり、シグモイドといくつかの関係式を持つ。
性質
- 凸関数である。
- 微分可能であり、$\zeta^{\prime} \gt 0$がそれである。
$\sigma$をロジスティックシグモイドとする。
$$\log \sigma (x) = -\zeta (-x)$$ $$\dfrac{d}{dx}\zeta (x) = \sigma (x)$$ $$\zeta^{-1}(x) = \log\left( e^{x} - 1 \right), \quad \forall x > 0$$ $$\zeta (x) = \int_{-\infty}^{x}\sigma (y)dy$$ $$\zeta (x) - \zeta (-x) = x$$