Gradient Accumulation mit Trainer
Du richtest Trainer für dein Übersetzungsmodell so ein, dass Gradient Accumulation verwendet wird, damit du effektiv mit größeren Batches trainieren kannst. Dein Modell vereinfacht Übersetzungen, indem es auf Paraphrasen aus dem MRPC-Datensatz trainiert. Konfiguriere die Trainingsargumente so, dass Gradienten akkumuliert werden! Die Übung braucht mit dem Aufruf von trainer.train() etwas Zeit.
Das model, der dataset und die Funktion compute_metrics() sind bereits vordefiniert.
Diese Übung ist Teil des Kurses
Effizientes KI-Modelltraining mit PyTorch
Anleitung zur Übung
- Setze die Anzahl der Schritte zur Gradientenakkumulation auf zwei.
- Übergib die Trainingsargumente an
Trainer.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()