シグモイド関数とは?
定義 1
すべての$x \in \mathbb{R}$で定義され$\sigma ' (x) \ge 0$であり、ただ一つの変曲点を持つ、有界で微分可能なスカラ関数$\sigma : \mathbb{R} \to \mathbb{R}$をシグモイド関数sigmoid functionと言う。
- シグモイダル関数の定義は異なる。
種類
シグモイド関数の例として、以下の関数が知られている：
- ロジスティック関数: $\displaystyle f(x) := {{ 1 } \over { 1 + e^{-x} }}$
- 双曲線正接関数: $\tanh x$
- 逆正接関数: $\arctan x$
説明
シグモイド関数は、定義通りの性質を持ち、入力値がある点を超えると、ほぼ最大値または最小値のいずれかに収束するため、ディープラーニングなどの分野で活性化関数として好んで用いられた。好んで用い’られた’と過去形で表現しているのは、2020年を基準として、グラディエント消失という広く知られた問題があり、この問題を克服した活性化関数を採用する傾向にあるからだ。
それでも、わざわざポスティングしてシグモイド関数について説明するのは、これが本当に特別なものではないということを誰かが伝えなければならないからだ。流行が過ぎ去ったとしても、研究する人は古い論文を当たるものだし、名前からして難しそうに見えるシグモイド関数は、最近流行っている関数たちに比べて重要度が低いので、適当にスルーしてよい。