딥러닝에서의 드롭아웃
정의
드롭아웃dropout이란 인공 신경망의 뉴런을 확률적으로 사용하지 않음으로써 과적합을 방지하는 기법이다.
설명
언뜻 생각하면 그냥 학습을 덜 하는 것이고 실제로도 어느정도는 맞는 말이다. 일정 확률로 뉴런을 사용하지 않다보면 ‘영향력이 지나치게 강한’ 뉴런이 무시될 수도 있다. 영향력이 지나치게 강하다는 것은 학습 데이터에 대해서 확신이 강하다는 뜻으로 볼 수 있다. 그런 뉴런이 많으면 분명 학습 데이터에서 문제를 푸는 것은 잘 하지만, 그럴 수록 실제 데이터에 대한 감은 떨어질 수 있다.
인간으로 치자면 이미 익숙한 유형의 문제를 접했을 때 바로바로 푸는 게 아니라 문제를 꼼꼼히 읽어보는 것에 비유할 수 있다. 아는 문제라고 덥석 무는 게 아니라 혹시 내가 생각 못한 부분이 있을 수도 있기 때문이다.드롭아웃의 가장 좋은 점은 무엇보다도 간단하다는 것이다. 이 외에도 과적합을 방지하기 위한 기법은 많이 있지만, 개념적으로 보나 실제 구현으로 보나 굉장히 간단한데도 효과를 보기가 쉬워서 쓰기 편하다.