시그모이드 함수란?
정의 1
유계 미분가능 스칼라 함수 $\sigma : \mathbb{R} \to \mathbb{R}$ 이 모든 $x \in \mathbb{R}$ 에서 $\sigma ' (x) \ge 0$ 이고 단 하나의 변곡점을 가지면 시그모이드 함수sigmoid function라고 한다.
- 시그모이달 함수와는 그 정의가 다르다.
종류
시그모이드 함수의 예시로써 다음과 같은 함수들이 알려져있다:
- 로지스틱 함수: $\displaystyle f(x) := {{ 1 } \over { 1 + e^{-x} }}$
- 하이퍼볼릭 탄젠트: $\tanh x$
- 아크 탄젠트: $\arctan x$
설명
시그모이드 함수는 말 그대로 정의 그대로의 성질들을 가지며, 입력값이 일정 부분을 넘어서면 거의 최대값과 최솟값 중 하나로 수렴해 딥러닝 등의 분야에서 활성화 함수로써 즐겨 쓰였다. 즐겨 쓰’였’다고 말하는 것은 2020년 기준으로는 별로 인기가 없기 때문인데, 그래디언트 배니싱이라는 널리 알려진 문제가 있어 이를 극복한 활성화 함수를 채용하는 추세다.
그런데도 굳이 포스팅을 해가면서 시그모이드 함수를 설명하는 것은 이게 정말 별 게 아니라는 걸 누군가는 알려줘야하기 때문이다. 유행이 지났다고 해도 공부하는 사람은 옛날 논문을 찾아보게 마련인데, 시그모이드 함수는 언뜻 이름부터가 어려워보이지만 최근 유행하는 함수들에 비해 그 중요도가 낮으니 대강 넘어가면 된다.