📂機械学習

Leaky ReLU

定義¹

機械学習において、次の関数をリーキーReLU^{leaky rectified linear unit, Leaky ReLU}という。

$$ \operatorname{LeakyReLU}(x) := \begin{cases} x & x \gt 0 \\ \alpha x & x \le 0 \end{cases} $$

ここで$\alpha$は小さな正の定数であり、通常は$0.01$を使う。

図では概形がよく見えるように$\alpha = 0.1$で描いた。

説明

リーキーReLUは$\operatorname{ReLU}$の変形であり、Maas、Hannun、Ngが2013年に音声認識のための音響モデル研究で提案した¹。「リーキー」^{leaky, 漏れる}という名前は、$\operatorname{ReLU}$が負の入力を完全に遮断して$0$にするのとは異なり、小さな傾き$\alpha$を通じて負の入力が少しずつ「漏れ出る」ようにしておくために付けられた。

$\operatorname{ReLU}$は負の領域で出力と勾配がともに$0$なので、学習中にあるニューロンの入力が常に負になってしまうと、そのニューロンには勾配が全く流れず、それ以上更新されなくなる。これを死んだ$\operatorname{ReLU}$^{dying ReLU}問題というが、リーキーReLUは負の領域にも勾配$\alpha \gt 0$を残しておくことでこの問題を回避する。原論文では$\alpha = 0.01$を使用した。

一方、傾き$\alpha$を固定された定数ではなく学習可能なパラメータとする変形である$\operatorname{PReLU}$^{parametric ReLU}も後に続いて提案された²。

性質

様々な表現³

$0 \lt \alpha \lt 1$のとき、次のように様々な方法で表すことができる。

$$ \begin{align*} \operatorname{LeakyReLU}(x) &:= \begin{cases} x & x \gt 0 \\ \alpha x & x \le 0 \end{cases} \\[1em] &= \max \left\{ \alpha x, x \right\} \\[1em] &= \operatorname{ReLU}(x) - \alpha \operatorname{ReLU}(-x) \\[1em] &= \alpha x + (1 - \alpha) \operatorname{ReLU}(x) \end{align*} $$

特に最後の表現によれば、リーキーReLUは恒等関数$x$と$\operatorname{ReLU}$、すなわちランプ関数の凸結合である。

導関数

導関数は次の通りである。

$$ \operatorname{LeakyReLU}^{\prime}(x) = \begin{cases} 1 & x \gt 0 \\ \alpha & x \lt 0 \end{cases} $$

$\alpha \ne 1$ならば$x = 0$で微分不可能だが、$\operatorname{ReLU}$と同様に実践では問題にならない。実装ではその点の傾きを$\alpha$や$1$にすればよい。

その他の性質

• $c \ge 0$に対して$\operatorname{LeakyReLU}(cx) = c \operatorname{LeakyReLU}(x)$が成り立つ。

• 可逆性: $\alpha \gt 0$ならば増加関数なので全単射であり、逆関数は負の領域の傾きが$1/\alpha$であるリーキーReLUである。負の領域の傾きを明示して$\operatorname{LeakyReLU}_{\alpha}$と書くと次の通りである。

$$ \left( \operatorname{LeakyReLU}_{\alpha} \right)^{-1} = \operatorname{LeakyReLU}_{1/\alpha} $$

関連リンク

• ランプ関数
• 活性化関数
  • $\operatorname{ReLU}$
  • ソフトプラス関数
• 勾配消失