절댓값 함수의 미분
정리
$$ \frac{ d |x| } {d x} = \dfrac{1}{|x|}x = \begin{cases} 1 & x > 0 \\ -1 & x < 0 \end{cases}, \qquad x \neq 0 $$
설명
사실 절댓값 함수는 $x = 0$에서 뾰족하게 생겨서 실수 전체 영역에서는 미분이 불가능하다. 그렇지만 정의역에서 딱 한 점만 제외하면 $\mathbb{R} \setminus \left\{ 0 \right\}$에서는 미분가능한 함수가 된다. 다시말해 $f$와 달리 아래와 같이 정의되는 $g$는 도함수 $g^{\prime}$을 갖는다는 말이다.
$$ f (x) := |x|, \qquad x \in \mathbb{R} $$ $$ g (x) := |x|, \qquad x \in \mathbb{R} \setminus \left\{ 0 \right\} $$
이때 많은 경우에서 $g^{\prime}$을 $f$의 도함수로 취급할 수 있으며, 이를 $f$의 약 도함수라 한다. 실제로 딥러닝에서 쓰이는 ReLU 등과 같은 활성화함수는 $x = 0$에서 미분 불가능하기도 한데 사용되는 이유가 바로 이 때문이다.
증명
$$ \begin{align*} \frac{ d |x| } {d x} &= \frac{d \sqrt{x^2} }{d x} \\ &= \frac{d \sqrt{x^2}}{d x^2} \frac{d x^2}{dx} \\ &= \frac{1}{2}\frac{1}{\sqrt{x^2}} \cdot 2x \\ &= \dfrac{1}{|x|}x \end{align*} $$
■