PyTorchでAdaBeliefオプティマイザを使う
説明
AdaBeliefは2020年にJ. Zhuangらによって紹介されたオプティマイザで、Adamの変形の一つです1。PyTorchではこのオプティマイザをデフォルトで提供していないため、別途インストールして使用する必要があります。
コード2
インストール
cmdで以下のコードでインストールできます。
pip install adabelief-pytorch==0.2.0
使用方法
以下のコードで読み込んで使用できます。
from adabelief_pytorch import AdaBelief
optimizer = AdaBelief(model.parameters(), lr=1e-3, eps=1e-16, betas=(0.9,0.999), weight_decouple = True, rectify = False)
環境
- OS: Windows11
- Version: Python 3.11.5, torch==2.0.1+cu118, adabelief-pytorch==0.2.0