Accelerator ile karma hassasiyetli eğitim
Dil çevirisi modelinin karma hassasiyetli eğitimi için PyTorch döngünü Accelerator kullanarak sadeleştirmek istiyorsun. Accelerator'dan yararlanacak yeni eğitim döngüsünü kur!
Bazı nesneler önceden yüklendi: dataset, model, dataloader ve optimizer.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Verimli AI Model Eğitimi
Egzersiz talimatları
Acceleratoriçinde FP16 kullanarak karma hassasiyetli eğitimi etkinleştir.- Döngüden önce eğitim nesnelerini karma hassasiyetli eğitim için hazırla.
- Kayıp (loss) için gradyanları karma hassasiyetli eğitimle hesapla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()