AdamW com Accelerator
Você quer personalizar seu loop de treinamento usando o Accelerator e usar o AdamW como otimizador de referência para seu modelo de tradução de linguagem. Construa o loop de treinamento para usar o AdamW.
Alguns objetos de treinamento já foram carregados e definidos, incluindo model, train_dataloader e accelerator.
Este exercício faz parte do curso
Treinamento Eficiente de Modelos de IA com PyTorch
Instruções do exercício
- Prepare os objetos de treinamento para execução distribuída antes do loop.
- Atualize os parâmetros do modelo dentro do loop de treinamento.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")