📂머신러닝

파이토치에서 AdaBelief 옵티마이저 사용하는 방법

설명

AdaBelief는 2020년 J. Zhuang 외 6명에 의해 소개된 옵티마이저로 Adam의 변형 중 하나이다¹. 파이토치에서 이 옵티마이저를 기본적으로 제공하지 않으므로 별도로 설치해서 사용해야 한다.

코드²

설치하기

cmd에서 다음과 같은 코드로 설치할 수 있다.

pip install adabelief-pytorch==0.2.0

사용하기

아래의 코드로 불러와서 사용할 수 있다.

from adabelief_pytorch import AdaBelief
optimizer = AdaBelief(model.parameters(), lr=1e-3, eps=1e-16, betas=(0.9,0.999), weight_decouple = True, rectify = False)

환경

• OS: Windows11
• Version: Python 3.11.5, torch==2.0.1+cu118, adabelief-pytorch==0.2.0