Trainer ile Adafactor
Dil çeviri servisinde milyarlarca parametreli bir Transformer modeli eğitiyorsun. Hesaplama kaynakların zorlanıyor, bu yüzden bellek gereksinimini AdamW'a kıyasla azaltmak için Adafactor iyileştiricisini denemeye karar verdin. Trainer'ı Adafactor için hazırla!
model, train_dataset, validation_dataset ve compute_metrics dahil bazı eğitim nesneleri önceden yüklendi.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Verimli AI Model Eğitimi
Egzersiz talimatları
TrainingArgumentsiçinde iyileştirici olarakAdafactorbelirt.- Boyutu yazdırmak için iyileştirici durumunu aktar.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Specify Adafactor as an optimizer
training_args = TrainingArguments(output_dir="./results",
evaluation_strategy="epoch",
optim="____")
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics)
trainer.train()
# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(trainer.optimizer.state.____())
print(f"\nNumber of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")