Ein Modell für verteiltes Training vorbereiten

Du hast dich entschieden, die Hugging Face-Bibliothek Accelerator zu nutzen, um dein Übersetzungsmodell zu trainieren. Jetzt ist es Zeit, dein Modell für verteiltes Training vorzubereiten!

Einige Daten wurden bereits geladen:

accelerator ist eine Instanz von Accelerator
model, optimizer, train_dataloader und lr_scheduler sind definiert

Diese Übung ist Teil des Kurses

<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>

Kurs ansehen

Übungsanweisungen

Rufe eine Methode auf, um Objekte für verteiltes Training vorzubereiten.
Übergib die Trainingsobjekte als Positionsargumente an accelerator.prepare() und beachte dabei die Reihenfolge der Ausgabe.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Code bearbeiten und ausführen