Tentukan TrainingArguments
Anda sedang mengonfigurasi proses pelatihan untuk model bahasa Anda. TrainingArguments menetapkan parameter masukan untuk Trainer. Latihan ini menyediakan nilai untuk parameter tersebut; umumnya, Anda perlu menyetel parameter untuk suatu model. Siapkan argumen agar model Anda menggunakan Trainer!
Beberapa data telah dimuat sebelumnya:
output_diradalah direktori yang telah ditentukan- Kelas
TrainingArgumentstelah diimpor
Latihan ini merupakan bagian dari kursus
Pelatihan Model AI Efisien dengan PyTorch
Instruksi latihan
- Definisikan
training_argsmenggunakan kelasTrainingArguments. - Tetapkan
learning_rateke2e-5untuk menyetel bobot pralatih model Anda. - Tetapkan ukuran batch pelatihan per perangkat pada setiap perangkat menjadi
16. - Tetapkan
evaluation_strategyuntuk membuat checkpoint evaluasi setiap epoch.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Define training_args using a transformers class
training_args = TrainingArguments(
output_dir=output_dir,
# Set the learning rate to 2e-5
learning_rate=____,
# Set train batch size on each device to 16
per_device_train_batch_size=____,
per_device_eval_batch_size=16,
num_train_epochs=2,
weight_decay=0.01,
save_strategy="epoch",
# Set evaluation checkpoints every epoch
evaluation_strategy=____,
)