8-bit Adam オプティマイザーのセットアップ

Transformer モデルをリアルタイム言語翻訳に向けて学習させているものの、Adafactor では効果的に学習が進まないことがわかりました。そこで、8-bit Adam オプティマイザーを試してみましょう。このオプティマイザーを使うと、通常の Adam と比べてメモリ使用量を約 75% 削減できます。

bitsandbytes ライブラリは bnb としてインポート済みで、TrainingArguments は args として定義されており、optimizer_grouped_parameters もあらかじめ読み込まれています。なお、この演習では libbitsandbytes_cpu.so に関する警告メッセージが表示されますが、演習を進める上で無視して問題ありません。