📂머신러닝

대학원생 하강법

빌드업

냉장코-코끼리 문제

전통적으로 코끼리를 냉장고에 넣는 방법은 대학원생에게 의존해왔다. 얼마나 어려울지, 힘들지, 어떤 방법이 좋은지는 잘 모르겠지만 그런 건 대학원생이 알아서 할테니 상관 없다. 그렇다면 딥러닝을 위시한 비선형 최적화 문제의 풀이에서 가장 먼저 시도해볼만한 수단은 뭘까?

용어

여러가지 하이퍼파라미터를 바꿔가며 일단 많은 시도를 해보는 것이다. 단, 대학원생들이…

좋은 하이퍼파라미터를 얻는 가장 간단한 방법은 수동으로 서로 다른 숫자의 하이퍼파라미터를 넣고 어떻게 작동하는지 확인하는 것입니다. 이 전략은 놀랄 만큼 효과적이고 교육적일 수 있습니다. 딥러닝 실무자는 딥 네트워크 구조에 대한 직관력을 기를 필요가 있습니다. 이론이 약할 때는 경험적으로 연구하는 것이 딥러닝 모델을 만드는 방법을 학습하는 최고의 방법입니다. 스스로 다양한 완전연결 모델을 만들어보기 바랍니다. 하이퍼파라미터 선택 사항과 결과를 스프레드시트에 기록하고 체계적으로 탐구하십시오. 다양한 하이퍼파라미터의 효과를 이해하려고 노력하십시오. 무엇이 네트워크 학습 과정을 더 빠르게 또는 더 느리게 하나요? 어떤 설정 범위에서 학습은 완전히 중단되나요? (불행히도 이것은 알기 쉽습니다.)

…(중략)…

이와 같이 하이퍼파라미터 값을 고르는 방법을 대학원생 하강법이라고 부르는 이유는 무엇일까요? 최근까지 머신러닝은 주로 학문적인 영역이었습니다. 새로운 머신러닝 알고리즘을 설계하기 위한 신뢰할 수 있는 방법은 신입 대학원생에게 원하는 방법을 설명하고 그들이 세부 사항을 해결하도록 만드는 것이었습니다. 이러한 과정은 일종의 통과의례이며 학생들은 수많은 설계 대안을 시도해야 했습니다. 전반적으로 이것은 교육적인 경험입니다. 왜냐하면 설계 미학을 얻는 유일한 방법은 동작하는 설정과 동작하지 않는 설정에 대한 기억을 쌓는 것이기 때문입니다.

설명

대학원생 하강법^{graduate descent method}은 물론 경사 하강법^{gradient descent method}과 발음이 유사한 것에서 나온 말장난이지만, 누군가에게는 현실이며 실제로 위의 설명처럼 작동한다. 노가다도 하루이틀이지, 계속해서 비슷하고 비효율적인 작업을 반복되다 보면 사무 자동화와 프로그래밍에 경험이 쌓일 수 밖에 없다. 코딩을 하게 되고, 큰 서버를 사용하게 되고, 컴퓨터에게 원격으로 작업상황을 보고 받으려 한다.

원문 ¹