設定 TrainingArguments

你正在為語言模型設定訓練流程。TrainingArguments 用來指定 Trainer 的輸入參數。本練習已提供這些參數的數值；實務上，你通常需要為模型調整這些參數。準備好讓你的模型使用 Trainer 的參數吧！

已預先載入部分資料：

output_dir 是預先定義的目錄
已匯入 TrainingArguments 類別

本練習屬於課程

使用 PyTorch 高效訓練 AI 模型

檢視課程

練習說明

使用 TrainingArguments 類別定義 training_args。
將 learning_rate 設為 2e-5，以微調模型的預訓練權重。
將每個裝置上的訓練批次大小設為 16。
設定 evaluation_strategy，於每個 epoch 建立評估檢查點。

動手互動練習

試著完成這個範例程式碼，體驗一下這個練習。

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

編輯並執行程式碼