Acumularea gradienților cu Trainer
Configurezi Trainer pentru modelul tău de traducere automată, astfel încât să folosești acumularea gradienților și să antrenezi eficient pe loturi mai mari. Modelul va simplifica traducerile antrenându-se pe parafraze din setul de date MRPC. Configurează argumentele de antrenament pentru a acumula gradienți! Exercițiul va dura ceva timp la rulare, din cauza apelului trainer.train().
Funcțiile model, dataset și compute_metrics() au fost deja definite.
Acest exercițiu face parte din cursul
Antrenament eficient al modelelor AI cu PyTorch
Instrucțiuni pentru exercițiu
- Setează numărul de pași de acumulare a gradienților la doi.
- Transmite argumentele de antrenament către
Trainer.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()