Treinamento de precisão mista com o Accelerator

Você deseja simplificar o loop do PyTorch para o treinamento de precisão mista do seu modelo de tradução de idiomas usando Accelerator. Crie o novo ciclo de treinamento para aproveitar o Accelerator!

Alguns objetos foram pré-carregados: dataset, model, dataloader, e optimizer.

Este exercício faz parte do curso

Treinamento eficiente de modelos de IA com PyTorch

Ver curso

Instruções do exercício

Habilite o treinamento de precisão mista usando FP16 em Accelerator.
Prepare objetos de treinamento para treinamento de precisão mista antes do loop.
Calcule os gradientes da perda para treinamento de precisão mista.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")

# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Compute the gradients of the loss
    ____.____(loss)
    optimizer.step()
    optimizer.zero_grad()

Editar e executar o código