LoslegenKostenlos loslegen

Aufbau einer Trainingsschleife mit Accelerator

Du bist bereit, eine Schulungsschleife für deinen Übersetzungsdienst einzurichten. Nachdem du nun gesehen hast, wie Accelerator eine PyTorch-Schleife für verteiltes Training modifiziert, kannst du die Klasse Accelerator in deiner Trainingsschleife nutzen!

Einige Daten wurden bereits geladen:

  • accelerator ist eine Instanz von Accelerator
  • train_dataloader``optimizer, model und lr_scheduler wurden definiert und vorbereitet mit Accelerator

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

  • Rufe die optimizer auf, um die Gradienten auf Null zu setzen.
  • Aktualisiere die Parameter des Modells.
  • Aktualisiere die Lernrate der optimizer.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

for batch in train_dataloader:
    # Call the optimizer to zero the gradients
    ____.____()
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    # Update the model's parameters
    ____.____()
    # Update the learning rate of the optimizer
    ____.____()
Code bearbeiten und ausführen