TrainingArguments の設定
カスタマーサポートのやり取りをトークナイズしたら、事前学習モデルをファインチューニングする前に学習用の引数を設定する必要があります。
TrainingArguments は読み込まれています。
この演習はコースの一部です
Pythonで学ぶ LLM 入門
演習の手順
TrainingArguments()のインスタンスを作成します。- 評価戦略を
"epoch"に設定します。 - 学習エポック数を 3 に指定します。
- 学習と評価の両方のバッチサイズを 3 に設定します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)