파이토치에서 AdaBelief 옵티마이저 사용하는 방법
설명
AdaBelief는 2020년 J. Zhuang 외 6명에 의해 소개된 옵티마이저로 Adam의 변형 중 하나이다1. 파이토치에서 이 옵티마이저를 기본적으로 제공하지 않으므로 별도로 설치해서 사용해야 한다.
코드2
설치하기
cmd에서 다음과 같은 코드로 설치할 수 있다.
pip install adabelief-pytorch==0.2.0
사용하기
아래의 코드로 불러와서 사용할 수 있다.
from adabelief_pytorch import AdaBelief
optimizer = AdaBelief(model.parameters(), lr=1e-3, eps=1e-16, betas=(0.9,0.999), weight_decouple = True, rectify = False)
환경
- OS: Windows11
- Version: Python 3.11.5, torch==2.0.1+cu118, adabelief-pytorch==0.2.0