PyTorchでAdaBeliefオプティマイザを使う 📂機械学習

PyTorchでAdaBeliefオプティマイザを使う

説明

AdaBeliefは2020年にJ. Zhuangらによって紹介されたオプティマイザで、Adamの変形の一つです¹。PyTorchではこのオプティマイザをデフォルトで提供していないため、別途インストールして使用する必要があります。

コード²

インストール

cmdで以下のコードでインストールできます。

pip install adabelief-pytorch==0.2.0

使用方法

以下のコードで読み込んで使用できます。

from adabelief_pytorch import AdaBelief
optimizer = AdaBelief(model.parameters(), lr=1e-3, eps=1e-16, betas=(0.9,0.999), weight_decouple = True, rectify = False)

環境

OS: Windows11
Version: Python 3.11.5, torch==2.0.1+cu118, adabelief-pytorch==0.2.0