Gradient Accumulation mit Trainer
Du richtest Trainer für dein Übersetzungsmodell so ein, dass Gradient Accumulation verwendet wird, damit du effektiv mit größeren Batches trainieren kannst. Dein Modell vereinfacht Übersetzungen, indem es auf Paraphrasen aus dem MRPC-Datensatz trainiert. Konfiguriere die Trainingsargumente so, dass Gradienten akkumuliert werden! Die Übung braucht mit dem Aufruf von trainer.train() etwas Zeit.
Das model, der dataset und die Funktion compute_metrics() sind bereits vordefiniert.
Diese Übung ist Teil des Kurses
<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>Übungsanweisungen
- Setze die Anzahl der Schritte zur Gradientenakkumulation auf zwei.
- Übergib die Trainingsargumente an
Trainer.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()