Mixed precision training met Accelerator

Je wilt je PyTorch-loop voor mixed precision training van je vertaalmodel vereenvoudigen met Accelerator. Bouw de nieuwe trainingsloop en maak gebruik van Accelerator!

Sommige objecten zijn al vooraf geladen: dataset, model, dataloader en optimizer.

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Schakel mixed precision training met FP16 in via Accelerator.
Bereid trainingsobjecten voor op mixed precision training vóór de loop.
Bereken de gradiënten van de verliesfunctie voor mixed precision training.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")

# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Compute the gradients of the loss
    ____.____(loss)
    optimizer.step()
    optimizer.zero_grad()

Code bewerken en uitvoeren