Menyiapkan argumen pelatihan
Setelah melakukan tokenisasi pada interaksi dukungan pelanggan Anda, Anda perlu menyiapkan argumen pelatihan sebelum dapat melakukan fine-tuning pada model pra-latih.
TrainingArguments telah dimuat untuk Anda.
Latihan ini adalah bagian dari kursus
Pengantar LLM di Python
Petunjuk latihan
- Siapkan sebuah instance
TrainingArguments(). - Atur strategi evaluasi sebagai
"epoch". - Tentukan tiga epoch pelatihan.
- Atur ukuran batch untuk pelatihan dan evaluasi menjadi tiga.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)