設定訓練參數
在完成對客服互動資料的分詞(tokenize)後,你需要先設定訓練參數,才能微調(fine-tune)預先訓練的模型。
TrainingArguments 已為你載入。
本練習屬於課程
Python 的 LLM 入門
練習說明
- 建立一個
TrainingArguments()的實例。 - 將評估策略設為
"epoch"。 - 指定 3 個訓練輪數。
- 將訓練與評估的批次大小都設為 3。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)