Akumulacja gradientów z Trainerem
Konfigurujesz Trainer dla modelu do tłumaczenia tekstów, tak aby korzystał z akumulacji gradientów – dzięki temu możesz efektywnie trenować na większych batchach. Model będzie uczył się upraszczania tłumaczeń na podstawie parafraz ze zbioru danych MRPC. Skonfiguruj argumenty treningowe tak, aby akumulować gradienty! Wywołanie trainer.train() może chwilę potrwać.
Zmienna model, zbiór danych dataset oraz funkcja compute_metrics() są już wstępnie zdefiniowane.
To ćwiczenie jest częścią kursu
Efektywne trenowanie modeli AI z PyTorch
Instrukcje do ćwiczenia
- Ustaw liczbę kroków akumulacji gradientów na dwa.
- Przekaż argumenty treningowe do
Trainer.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()