Mixed-Precision-Training mit Trainer
Du möchtest deine Trainingsschnittstelle für Mixed-Precision-Training vereinfachen. Als Alternative zu Trainingsschleifen mit Accelerator hast du dich für den Trainer entschieden, da dein Modell keine benutzerdefinierten Trainingsschleifen benötigt. Richte den Trainer so ein, dass er Mixed-Precision-Training verwendet! Die Ausführung dieser Übung dauert etwas länger, da trainer.train() aufgerufen wird.
Diese Übung ist Teil des Kurses
Effizientes KI-Modelltraining mit PyTorch
Anleitung zur Übung
- Aktiviere Mixed-Precision-Training für
Trainer.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Enable mixed precision training
____=____
)
trainer = Trainer(model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()