logo

絶対値関数の微分 📂関数

絶対値関数の微分

定理

絶対値関数微分は以下のように示される。

dxdx=1xx={1x>01x<0,x0 \frac{ d |x| } {d x} = \dfrac{1}{|x|}x = \begin{cases} 1 & x > 0 \\ -1 & x < 0 \end{cases}, \qquad x \neq 0

説明

実際には絶対値関数はx=0x = 0の地点で尖った形をしているため、実数全体の領域では微分不可能だ。しかし、定義域からただ1点を除けば、R{0}\mathbb{R} \setminus \left\{ 0 \right\}では微分可能な関数となる。つまり、ffとは異なり、以下のように定義されるgg導関数gg^{\prime}を持つことを意味する。

f(x):=x,xR f (x) := |x|, \qquad x \in \mathbb{R} g(x):=x,xR{0} g (x) := |x|, \qquad x \in \mathbb{R} \setminus \left\{ 0 \right\}

この時、多くの場合においてgg^{\prime}ffの導関数として取り扱うことができ、これをff弱導関数と呼ぶ。実際、ディープラーニングで使用されるReLUなどの活性化関数は、x=0x = 0で微分不可能であるにも関わらず使用される理由がまさにこれである。

証明

dxdx=dx2dx=dx2dx2dx2dx=121x22x=1xx \begin{align*} \frac{ d |x| } {d x} &= \frac{d \sqrt{x^2} }{d x} \\ &= \frac{d \sqrt{x^2}}{d x^2} \frac{d x^2}{dx} \\ &= \frac{1}{2}\frac{1}{\sqrt{x^2}} \cdot 2x \\ &= \dfrac{1}{|x|}x \end{align*}