Ağırlıkları elle güncelleme
Artık ağırlıklara ve sapmalara (bias) nasıl erişileceğini bildiğine göre, PyTorch iyileştiricisinin (optimizer) işini elle yapacaksın. PyTorch bunu otomatikleştirir, ancak bunu elle denemek, modellerin nasıl öğrendiğine ve ayarlandığına dair sezgini güçlendirir. Bu anlayış, sinir ağlarını hata ayıklarken veya ince ayar yaparken çok değerli olacak.
Üç katmanlı bir sinir ağı oluşturuldu ve model değişkeninde saklandı. Bu ağla bir ileri geçiş (forward pass) yapıldı ve kayıp ile türevleri hesaplandı. Güncellemeyi yaparken gradyanları ölçeklemek için varsayılan bir öğrenme oranı lr seçildi.
Bu egzersiz
PyTorch ile Deep Learning'e Giriş
kursunun bir parçasıdırUygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____