📂関数

ハードスレッショルディングとソフトスレッショルディングの関数として

定義 ¹

閾値^threshold $\lambda \in \mathbb{R}$ が与えられているとしよう.

ハードスレッショルディング

次のように定義された $\eta _{H} \left( x ; \lambda \right) : \mathbb{R} \to \mathbb{R}$ を ハードスレッショルディング^{hard thresholding}と呼ぶ. $$ \begin{align*} \eta _{H} \left( x ; \lambda \right) =& x \cdot \mathbf{1}_{\left\{ \left| x \right| \ge \lambda \right\}} (x) \\ =& \begin{cases} x & , \text{if } x \in [-\lambda, \lambda] \\ 0 & , \text{if } x \notin [-\lambda, \lambda] \end{cases} \end{align*} $$ ここで $\mathbf{1}_{ A }$ は 集合 $x \in A$ のときだけ $1$ で、それ以外では $0$ である 指示関数 だ.

ソフトスレッショルディング

次のように定義された $\eta _{S} \left( x ; \lambda \right) : \mathbb{R} \to \mathbb{R}$ を ソフトスレッショルディング^{soft thresholding}と呼ぶ. $$ \begin{align*} \eta _{S} \left( x ; \lambda \right) =& \operatorname{sign} (x) \cdot \operatorname{ReLU} \left( \left| x \right| - \lambda \right) \\ =& \begin{cases} \lambda - \left| x \right| & , \text{if } x < - \lambda \\ 0 & , \text{if } x \in [-\lambda, \lambda] \\ \left| x \right| - \lambda & , \text{if } x > \lambda \end{cases} \end{align*} $$ ここで $\operatorname{sign}$ は 符号、 $\operatorname{ReLU}$ は ReLU だ.

説明

紹介した関数の概形は次のとおりだ².

スレッショルディング^thresholdingとはアルゴリズムの観点から見ると、あまり大きくない値を除去するデノイジング^denoisingの意味を持つ.

ハードとソフトの違いはいくつかあるが、数学的に最も目立つのは $\pm \lambda$ における 連続性 で、その他では $\left[ - \lambda , \lambda \right]$ が $0$ である点や 弱導関数 が同じなどほとんど類似している。通常は用途に応じてどちらか一方を選んで使うことが多く、両方使うことはほとんどなく、ノーテーションも $\eta_{\lambda} (x)$ のように $H$ や $S$ を省略して下付き添字の位置に閾値 $\lambda$ を書くことが多い.