Memperbarui bobot secara manual
Sekarang setelah Anda tahu cara mengakses bobot dan bias, Anda akan melakukan secara manual tugas yang biasanya dikerjakan oleh optimizer PyTorch. Meskipun PyTorch mengotomatiskannya, berlatih secara manual membantu Anda membangun intuisi tentang cara model belajar dan menyesuaikan diri. Pemahaman ini akan berguna saat melakukan debug atau penyetelan halus jaringan saraf.
Sebuah jaringan saraf dengan tiga lapisan telah dibuat dan disimpan dalam variabel model. Jaringan ini telah digunakan untuk forward pass dan loss beserta turunannya telah dihitung. Laju pembelajaran default, lr, telah dipilih untuk mengalikan gradien saat melakukan pembaruan.
Latihan ini merupakan bagian dari kursus
Pengantar Deep Learning dengan PyTorch
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____