Addestramento a precisione mista con Accelerator
Vuoi semplificare il tuo loop PyTorch per l'addestramento a precisione mista del modello di traduzione automatica usando Accelerator. Crea il nuovo loop di training sfruttando Accelerator!
Alcuni oggetti sono già stati caricati: dataset, model, dataloader e optimizer.
Questo esercizio fa parte del corso
Efficient AI Model Training with PyTorch
Istruzioni dell'esercizio
- Abilita l'addestramento a precisione mista usando FP16 in
Accelerator. - Prepara gli oggetti di training per la precisione mista prima del loop.
- Calcola i gradienti della loss per la precisione mista.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()