Bereid een model voor op gedistribueerde training

Je hebt besloten om de Hugging Face Accelerator-bibliotheek te gebruiken om je vertaalmodel te trainen. Tijd om je model klaar te maken voor gedistribueerde training!

Er is al wat data voorgeladen:

accelerator is een instantie van Accelerator
model, optimizer, train_dataloader en lr_scheduler zijn gedefinieerd

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Roep een methode aan om objecten voor gedistribueerde training voor te bereiden.
Geef de trainingsobjecten als positionele argumenten door aan accelerator.prepare(), in dezelfde volgorde als de output.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Code bewerken en uitvoeren