AdamW mit Accelerator
Du möchtest deine Trainingsschleife mit Accelerator anpassen und AdamW als Referenz-Optimizer für dein Übersetzungsmodell verwenden. Baue die Trainingsschleife so auf, dass AdamW genutzt wird.
Einige Trainingsobjekte wurden bereits geladen und definiert, darunter model, train_dataloader und accelerator.
Diese Übung ist Teil des Kurses
Effizientes KI-Modelltraining mit PyTorch
Anleitung zur Übung
- Bereite die Trainingsobjekte vor der Schleife für verteiltes Training vor.
- Aktualisiere die Modellparameter in der Trainingsschleife.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")