Gradient accumulation s Trainerem
Nastavuješ Trainer pro svůj model překladu jazyka tak, aby využíval gradient accumulation – díky tomu můžeš efektivně trénovat na větších dávkách dat. Tvůj model se naučí zjednodušovat překlady na základě parafrází z datasetu MRPC. Nakonfiguruj trénovací argumenty tak, aby se gradienty akumulovaly! Volání trainer.train() může chvíli trvat.
Proměnné model, dataset a funkce compute_metrics() jsou předem definované.
Toto cvičení je součástí kurzu
Efficient AI Model Training with PyTorch
Pokyny k cvičení
- Nastav počet kroků akumulace gradientů na dvě.
- Předej trénovací argumenty do
Trainer.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()