TrainingArguments の設定
言語モデルの学習プロセスを設定しましょう。TrainingArguments は Trainer に渡す入力パラメータを指定するためのクラスです。この演習ではパラメータの値があらかじめ与えられています。実際には、モデルに合わせてパラメータを調整する必要があります。Trainer で使用する引数を準備しましょう。
以下のデータは事前に読み込まれています。
output_dirは定義済みのディレクトリです。TrainingArgumentsクラスはインポート済みです。
この演習はコースの一部です
PyTorch による効率的な AI モデルトレーニング
演習の手順
TrainingArgumentsクラスを使ってtraining_argsを定義します。- モデルの事前学習済みの重みをファインチューニングするため、
learning_rateを2e-5に設定します。 - 各デバイスの学習バッチサイズを
16に設定します。 - エポックごとに評価チェックポイントが作成されるよう、
evaluation_strategyを設定します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Define training_args using a transformers class
training_args = TrainingArguments(
output_dir=output_dir,
# Set the learning rate to 2e-5
learning_rate=____,
# Set train batch size on each device to 16
per_device_train_batch_size=____,
per_device_eval_batch_size=16,
num_train_epochs=2,
weight_decay=0.01,
save_strategy="epoch",
# Set evaluation checkpoints every epoch
evaluation_strategy=____,
)