Träning med mixad precision och Accelerator

Du vill förenkla din PyTorch-loop för träning med mixad precision av din språköversättningsmodell genom att använda Accelerator. Bygg den nya träningsloopen och dra nytta av Accelerator!

Några objekt är förinlästa: dataset, model, dataloader och optimizer.

Den här övningen är en del av kursen

Effektiv AI-modellträning med PyTorch

Visa kurs

Övningsinstruktioner

Aktivera träning med mixad precision med FP16 i Accelerator.
Förbered träningsobjekten för mixad precision innan loopen startar.
Beräkna gradienterna för förlusten vid träning med mixad precision.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")

# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Compute the gradients of the loss
    ____.____(loss)
    optimizer.step()
    optimizer.zero_grad()

Redigera och kör kod