Accelerator'dan önce ve sonra eğitim döngüleri

Dil modelin için PyTorch eğitim döngüsünü, cümle yeniden ifade verileri olan MPRC veri kümesini kullanarak çevirileri basitleştirmek amacıyla Accelerator ile çalışacak şekilde değiştirmek istiyorsun. Eğitim döngüsünü güncelleyerek modelini dağıtık eğitime hazırla.

Bazı veriler önceden yüklendi:

accelerator, Accelerator sınıfının bir örneğidir
train_dataloader, optimizer, model ve lr_scheduler tanımlandı ve Accelerator ile hazırlandı

Bu egzersiz, kursun bir parçasıdır

PyTorch ile Verimli AI Model Eğitimi

Kursa Göz Atın

Egzersiz talimatları

.to(device) satırlarını güncelle ki cihaz yerleşimini Accelerator yönetsin.
Gradyan hesaplamasını Accelerator'ı kullanacak şekilde değiştir.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

for batch in train_dataloader:
    optimizer.zero_grad()
    inputs, targets = batch["input_ids"], batch["labels"]
    # Update the lines so Accelerator handles device placement
    inputs = inputs.to(device)
    targets = targets.to(device)
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Modify the gradient computation to use Accelerator
    ____.backward(____)
    optimizer.step()
    lr_scheduler.step()

Kodu Düzenle ve Çalıştır