絶対値関数の微分
定理
$$ \frac{ d |x| } {d x} = \dfrac{1}{|x|}x = \begin{cases} 1 & x > 0 \\ -1 & x < 0 \end{cases}, \qquad x \neq 0 $$
説明
実際には絶対値関数は$x = 0$の地点で尖った形をしているため、実数全体の領域では微分不可能だ。しかし、定義域からただ1点を除けば、$\mathbb{R} \setminus \left\{ 0 \right\}$では微分可能な関数となる。つまり、$f$とは異なり、以下のように定義される$g$は導関数$g^{\prime}$を持つことを意味する。
$$ f (x) := |x|, \qquad x \in \mathbb{R} $$ $$ g (x) := |x|, \qquad x \in \mathbb{R} \setminus \left\{ 0 \right\} $$
この時、多くの場合において$g^{\prime}$を$f$の導関数として取り扱うことができ、これを$f$の弱導関数と呼ぶ。実際、ディープラーニングで使用されるReLUなどの活性化関数は、$x = 0$で微分不可能であるにも関わらず使用される理由がまさにこれである。
証明
$$ \begin{align*} \frac{ d |x| } {d x} &= \frac{d \sqrt{x^2} }{d x} \\ &= \frac{d \sqrt{x^2}}{d x^2} \frac{d x^2}{dx} \\ &= \frac{1}{2}\frac{1}{\sqrt{x^2}} \cdot 2x \\ &= \dfrac{1}{|x|}x \end{align*} $$
■