8-bit Adam eniyileyicisini kur
Gerçek zamanlı dil çevirisi için Transformer modelini eğitirken Adafactor ile öğrenmenin etkili olmadığını görüyorsun. Alternatif olarak, Adam'a kıyasla belleği yaklaşık %75 azaltmak için 8-bit Adam eniyileyicisini denemeye karar veriyorsun.
bitsandbytes kütüphanesi bnb olarak içe aktarılmış, TrainingArguments args olarak tanımlanmış ve optimizer_grouped_parameters önceden yüklenmiştir. Egzersizin libbitsandbytes_cpu.so hakkında bir uyarı iletisi yazdırdığını unutma; bu uyarıyı egzersizi tamamlamak için yok sayabilirsin.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Verimli AI Model Eğitimi
Egzersiz talimatları
bnb.optimiçindekiAdam8bitsınıfını kullanarak 8-bit Adam eniyileyicisini oluştur.- 8-bit Adam eniyileyicisine beta1 ve beta2 parametrelerini geçir.
- 8-bit Adam eniyileyicisine epsilon parametresini geçir.
- 8-bit Adam eniyileyicisinden giriş parametrelerini yazdır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Instantiate the 8-bit Adam optimizer
adam_bnb_optim = bnb.optim.____(optimizer_grouped_parameters,
# Pass in the beta1 and beta2 parameters
betas=(args.____, args.____),
# Pass in the epsilon parameter
eps=args.____,
lr=args.learning_rate)
# Print the input parameters
print(f"beta1 = {args.adam_beta1}")
print(f"beta2 = {args.____}")
print(f"epsilon = {args.____}")
print(f"learning_rate = {args.learning_rate}")