AdamW con Accelerator
Vuoi personalizzare il tuo ciclo di training usando Accelerator e usare AdamW come ottimizzatore di riferimento per il tuo modello di traduzione automatica. Crea il ciclo di training per usare AdamW.
Alcuni oggetti per il training sono già stati caricati e definiti, tra cui model, train_dataloader e accelerator.
Questo esercizio fa parte del corso
Efficient AI Model Training with PyTorch
Istruzioni dell'esercizio
- Prepara gli oggetti di training per l'addestramento distribuito prima del ciclo.
- Aggiorna i parametri del modello nel ciclo di training.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")