Sestavení trénovací smyčky s Acceleratorem

Teď je čas implementovat trénovací smyčku pro službu překladu jazyka. Už víš, jak Accelerator upravuje PyTorch smyčku pro distribuované trénování – pojď tuto třídu využít přímo ve své trénovací smyčce!

Některá data jsou předem připravena:

accelerator je instance třídy Accelerator
train_dataloader, optimizer, model a lr_scheduler jsou definovány a připraveny pomocí Accelerator

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Zavolej optimizer pro vynulování gradientů.
Aktualizuj parametry modelu.
Aktualizuj rychlost učení objektu optimizer.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

for batch in train_dataloader:
    # Call the optimizer to zero the gradients
    ____.____()
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    # Update the model's parameters
    ____.____()
    # Update the learning rate of the optimizer
    ____.____()

Upravit a spustit kód