Treinamento com precisão mista com Accelerator
Você quer simplificar seu loop do PyTorch para treinamento com precisão mista do seu modelo de tradução de linguagem usando o Accelerator. Construa o novo loop de treinamento para aproveitar o Accelerator!
Alguns objetos já foram carregados: dataset, model, dataloader e optimizer.
Este exercício faz parte do curso
Treinamento Eficiente de Modelos de IA com PyTorch
Instruções do exercício
- Habilite o treinamento com precisão mista usando FP16 no
Accelerator. - Prepare os objetos de treino para precisão mista antes do loop.
- Calcule os gradientes da loss para o treinamento com precisão mista.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()