Förbered en modell för distribuerad träning

Du har bestämt dig för att använda Hugging Face-biblioteket Accelerator för att träna din språköversättningsmodell. Nu är det dags att förbereda modellen för distribuerad träning!

Några objekt har fördefinerats:

accelerator är en instans av Accelerator
model, optimizer, train_dataloader och lr_scheduler har definierats

Den här övningen är en del av kursen

Effektiv AI-modellträning med PyTorch

Visa kurs

Övningsinstruktioner

Anropa en metod för att förbereda objekt för distribuerad träning.
Skicka in träningsobjekten som positionsargument till accelerator.prepare(), i samma ordning som utdata.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Redigera och kör kod