📂機械学習

ソフトプラス関数とは?

説明

2001年にDugasらによる論文『Incorporating Second-Order Functional Knowledge for Better Option Pricing』で紹介された。

$x^{+} = \max (0, x)$のなめらかなバージョンで、これが名前のモチーフである。$x^{+}$は10年後にReLUとして知られるようになる。$0$で述べられているように、微分可能なReLUと考えればよい。区間$(-3, 3)$の外では、ReLUとほぼ同じである。

また、ロジスティックシグモイドの逆関数であり、シグモイドといくつかの関係式を持つ。

性質

• 凸関数である。
• 微分可能であり、$\zeta^{\prime} \gt 0$がそれである。

$\sigma$をロジスティックシグモイドとする。

$$\log \sigma (x) = -\zeta (-x)$$ $$\dfrac{d}{dx}\zeta (x) = \sigma (x)$$ $$\zeta^{-1}(x) = \log\left( e^{x} - 1 \right), \quad \forall x > 0$$ $$\zeta (x) = \int_{-\infty}^{x}\sigma (y)dy$$ $$\zeta (x) - \zeta (-x) = x$$