or
Bu egzersiz, kursun bir parçasıdır
Veriyi birden fazla cihaza bölerek ve modeli her cihaza kopyalayarak dağıtık eğitim için hazırlayacaksın. Accelerator, veri hazırlama için kullanışlı bir arayüz sunar; dağıtık eğitimin ilk adımı olarak görüntü, ses ve metni nasıl ön işleyeceğini öğreneceksin.
Dağıtık eğitimde her cihaz kendi verisiyle paralel olarak eğitim yapar. Dağıtık eğitim için iki yöntemi inceleyeceksin: Accelerator özel eğitim döngülerine imkân tanır, Trainer ise eğitim arayüzünü basitleştirir.
Büyük modeller ve veri kümeleri, dağıtık eğitimde kaynakları zorlayabilir; ancak bellek kullanımını, cihazlar arası iletişimi ve hesaplama verimliliğini iyileştirerek bu zorlukların üstesinden gelebilirsin. Gradyan biriktirme, gradyan checkpointing, yerel stokastik gradyan inişi ve karışık duyarlıklı eğitim tekniklerini keşfedeceksin.
Dağıtık eğitim verimliliğini artırmak için optimize edicilere odaklanacak, AdamW, Adafactor ve 8-bit Adam arasındaki ödünleşimleri vurgulayacaksın. Parametre sayısını azaltmak veya düşük duyarlık kullanmak, bir modelin bellek ayak izini küçültmeye yardımcı olur.
Geçerli egzersiz