Mixed-Precision-Training mit Accelerator
Du möchtest deine PyTorch-Schleife für Mixed-Precision-Training deines Übersetzungsmodells mit Accelerator vereinfachen. Baue die neue Trainingsschleife und nutze Accelerator!
Einige Objekte wurden bereits geladen: dataset, model, dataloader und optimizer.
Diese Übung ist Teil des Kurses
Effizientes KI-Modelltraining mit PyTorch
Anleitung zur Übung
- Aktiviere Mixed-Precision-Training mit FP16 in
Accelerator. - Bereite die Trainingsobjekte vor der Schleife für Mixed-Precision-Training vor.
- Berechne die Gradienten des Loss für Mixed-Precision-Training.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()