Ağırlıkları elle güncelleme
Artık ağırlıklara ve sapmalara (bias) nasıl erişileceğini bildiğine göre, PyTorch iyileştiricisinin (optimizer) işini elle yapacaksın. PyTorch bunu otomatikleştirir, ancak bunu elle denemek, modellerin nasıl öğrendiğine ve ayarlandığına dair sezgini güçlendirir. Bu anlayış, sinir ağlarını hata ayıklarken veya ince ayar yaparken çok değerli olacak.
Üç katmanlı bir sinir ağı oluşturuldu ve model değişkeninde saklandı. Bu ağla bir ileri geçiş (forward pass) yapıldı ve kayıp ile türevleri hesaplandı. Güncellemeyi yaparken gradyanları ölçeklemek için varsayılan bir öğrenme oranı lr seçildi.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Deep Learning'e Giriş
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____