Trainer ile gradient checkpointing

Modelinin bellek kullanımını azaltmak için gradient checkpointing kullanmak istiyorsun. Accelerator ile açık eğitim döngüsünün nasıl yazılacağını gördün ve şimdi de eğitim döngüsü yazmadan Trainer ile daha basit bir arayüz kullanmak istiyorsun. trainer.train() çağrısı nedeniyle egzersizin çalışması biraz zaman alacaktır.

Trainer için gradient checkpointing kullanacak şekilde argümanları ayarla.

Bu egzersiz, kursun bir parçasıdır

PyTorch ile Verimli AI Model Eğitimi

Kursa Göz Atın

Egzersiz talimatları

TrainingArguments içinde dört adet gradient accumulation adımı kullan.
TrainingArguments içinde gradient checkpointing'i etkinleştir.
Eğitim argümanlarını Trainer'a aktar.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

training_args = TrainingArguments(output_dir="./results",
                                  evaluation_strategy="epoch",
                                  # Use four gradient accumulation steps
                                  gradient_accumulation_steps=____,
                                  # Enable gradient checkpointing
                                  gradient_checkpointing=____)
trainer = Trainer(model=model,
                  # Pass in the training arguments
                  args=____,
                  train_dataset=dataset["train"],
                  eval_dataset=dataset["validation"],
                  compute_metrics=compute_metrics)
trainer.train()

Kodu Düzenle ve Çalıştır