하이퍼볼릭 탄젠트
정의
쌍곡함수 중 쌍곡사인과 쌍곡코사인의 비로 정의되는 아래와 같은 함수를 하이퍼볼릭 탄젠트hyperbolic tangent 또는 쌍곡탄젠트라 하고, 흔히 $\tanh$로 줄여 쓴다.
$$ \tanh x := \frac{\sinh x}{\cosh x} = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} = \frac{e^{2x} - 1}{e^{2x} + 1} $$
성질
치역: 치역은 $(-1, 1)$이고, $x \to \pm\infty$일 때 $\tanh x \to \pm 1$로 점근한다.
기함수: $\tanh(-x) = -\tanh x$. 특히 $\tanh 0 = 0$이므로 그래프가 원점을 지난다.
도함수: 다음이 성립한다. $$ (\tanh x)^{\prime} = 1 - \tanh^{2} x = \operatorname{sech}^{2} x $$ 미분값은 $x = 0$에서 최댓값 $1$을 가지며, $|x|$가 커질수록 $0$으로 수렴한다.
시그모이드와의 관계
로지스틱 시그모이드 함수 $\sigma(x) = \dfrac{1}{1 + e^{-x}}$와는 다음의 관계가 있다.
$$ \tanh x = 2\sigma(2x) - 1 $$
즉 하이퍼볼릭 탄젠트는 시그모이드를 아래위로 늘려 치역을 $(0, 1)$에서 $(-1, 1)$로 옮기고 원점 대칭이 되도록 평행이동한 것이다.
활성화함수로서의 $\tanh$
하이퍼볼릭 탄젠트는 인공 신경망에서 널리 쓰이는 비선형 활성화함수 중 하나이다. 시그모이드와 비교했을 때 다음과 같은 성질을 가진다.
- 영점 중심: 시그모이드의 치역 $(0, 1)$은 항상 양수라 출력의 평균이 $0$에서 벗어나지만, $\tanh$는 치역이 $(-1, 1)$로 원점 대칭이라 출력이 $0$을 중심으로 분포한다. 이는 다음 층의 학습을 안정적으로 만든다.
- 더 큰 기울기: 앞서 보았듯 $\tanh$의 미분은 최대 $1$인 반면, 시그모이드의 미분은 최대 $1/4$을 넘지 못한다. 따라서 $\tanh$가 시그모이드보다 기울기 소실에 상대적으로 덜 취약하다.
다만 $\tanh$ 역시 $|x|$가 커지면 미분이 $0$에 가까워지는 포화 성질을 가지므로, 층을 아주 깊게 쌓으면 여전히 기울기 소실이 나타난다. 이 때문에 오늘날 신경망에서는 포화가 없는 $\operatorname{ReLU}$ 계열이 주로 쓰이긴 하지만, 신경망이 그리 깊지 않거나 치역을 제한하고 싶을 때는 여전히 쓰인다.