Een trainingslus bouwen met Accelerator

Je bent klaar om een trainingslus te implementeren voor je vertaaldienst. Nu je hebt gezien hoe Accelerator een PyTorch-lus aanpast voor distributed training, kun je de Accelerator-klasse inzetten in je eigen trainingslus!

Er is alvast wat data geladen:

accelerator is een instantie van Accelerator
train_dataloader, optimizer, model en lr_scheduler zijn gedefinieerd en met Accelerator voorbereid

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Roep de optimizer aan om de gradiënten op nul te zetten.
Werk de parameters van het model bij.
Werk het leertempo van de optimizer bij.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

for batch in train_dataloader:
    # Call the optimizer to zero the gradients
    ____.____()
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    # Update the model's parameters
    ____.____()
    # Update the learning rate of the optimizer
    ____.____()

Code bewerken en uitvoeren