Antrenament cu precizie mixtă folosind Accelerator

Vrei să simplifici bucla PyTorch pentru antrenamentul cu precizie mixtă al modelului tău de traducere automată, folosind Accelerator. Construiește noua buclă de antrenament care să valorifice Accelerator!

Câteva obiecte au fost preîncărcate: dataset, model, dataloader și optimizer.

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Activează antrenamentul cu precizie mixtă folosind FP16 în Accelerator.
Pregătește obiectele de antrenament pentru precizia mixtă înainte de buclă.
Calculează gradienții funcției de pierdere pentru antrenamentul cu precizie mixtă.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")

# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Compute the gradients of the loss
    ____.____(loss)
    optimizer.step()
    optimizer.zero_grad()

Editează și rulează codul