📂머신러닝

머신러닝에서 레귤러라이제이션이란

regularization in machine learning

정의

트레이닝 로스가 아닌 테스트 로스를 줄이기 위해 알고리즘을 수정하는 모든 방법을 레귤러라이제이션 이라 한다.¹

Goodfellow defines regularization as “any modification we make to a learning algorithm that is intended to reduce its generalization error but not its training error.”

즉, 오버피팅을 막기 위한 모든 방법을 묶어서 레귤러라이제이션이라 한다. 머신러닝, 딥러닝 교재에서 흔히 소개되는 기법으로는 드롭 아웃이 있다.

종류

• $l_{2}$ regularization
• $l_{1}$ regularization
• Weight decay
• Early stopping
• 드롭 아웃^dropout
• Batch normalization
• Label smoothing
• Mixup
• Image augment
• Flooding