Accumulo dei gradienti con Trainer
Stai configurando Trainer per il tuo modello di traduzione automatica in modo da usare l'accumulo dei gradienti, così potrai addestrare efficacemente con batch più grandi. Il tuo modello semplificherà le traduzioni addestrandosi su parafrasi dal dataset MRPC. Configura gli argomenti di training per accumulare i gradienti! L'esercizio richiederà un po' di tempo per l'esecuzione con la chiamata a trainer.train().
Il model, il dataset e la funzione compute_metrics() sono già stati definiti.
Questo esercizio fa parte del corso
Efficient AI Model Training with PyTorch
Istruzioni dell'esercizio
- Imposta a due il numero di step di accumulo dei gradienti.
- Passa gli argomenti di training a
Trainer.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()