Příprava modelu na distribuované trénování

Rozhodl/a ses použít knihovnu Accelerator od Hugging Face k trénování modelu pro překlad jazyka. Teď je čas připravit model na distribuované trénování!

Některá data jsou již předem načtena:

accelerator je instance třídy Accelerator
model, optimizer, train_dataloader a lr_scheduler jsou definovány

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Zavolej metodu, která připraví objekty pro distribuované trénování.
Předej trénovací objekty jako poziční argumenty metodě accelerator.prepare() ve správném pořadí, které odpovídá pořadí výstupu.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Upravit a spustit kód