Menyiapkan argumen pelatihan
Setelah melakukan tokenisasi pada interaksi dukungan pelanggan Anda, Anda perlu menyiapkan argumen pelatihan sebelum dapat melakukan fine-tuning pada model pra-latih.
TrainingArguments telah dimuat untuk Anda.
Latihan ini merupakan bagian dari kursus
Pengantar LLM di Python
Instruksi latihan
- Siapkan sebuah instance
TrainingArguments(). - Atur strategi evaluasi sebagai
"epoch". - Tentukan tiga epoch pelatihan.
- Atur ukuran batch untuk pelatihan dan evaluasi menjadi tiga.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)