Accelerator ile AdamW
Accelerator kullanarak kendi eğitim döngünü özelleştirmek ve dil çeviri modelin için AdamW'yi kıyaslama (benchmark) optimizer'ı olarak kullanmak istiyorsun. Eğitim döngüsünü AdamW ile çalışacak şekilde kur.
Bazı eğitim nesneleri önceden yüklenip tanımlandı: model, train_dataloader ve accelerator.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Verimli AI Model Eğitimi
Egzersiz talimatları
- Döngüden önce eğitim nesnelerini dağıtık eğitim için hazırla.
- Eğitim döngüsünde model parametrelerini güncelle.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")