Gradientaccumulatie met Trainer
Je stelt Trainer in voor je vertaamodel om gradientaccumulatie te gebruiken, zodat je effectief met grotere batches kunt trainen. Je model vereenvoudigt vertalingen door te trainen op parafrases uit de MRPC-gegevensset. Configureer de trainingsargumenten om gradients te accumuleren! De oefening duurt even om uit te voeren door de aanroep trainer.train().
Het model, de dataset en de functie compute_metrics() zijn al vooraf gedefinieerd.
Deze oefening maakt deel uit van de cursus
Efficiënt AI-modellen trainen met PyTorch
Oefeninstructies
- Stel het aantal stappen voor gradientaccumulatie in op twee.
- Geef de trainingsargumenten door aan
Trainer.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()