Actualizarea manuală a ponderilor
Acum că știi cum să accesezi ponderi și bias-uri, vei efectua manual operațiunea realizată de obicei de optimizatorul PyTorch. Deși PyTorch automatizează acest proces, exersarea lui manuală te ajută să înțelegi intuitiv cum învață și se ajustează modelele. Această înțelegere va fi valoroasă atunci când depanezi sau ajustezi rețele neuronale.
A fost creată o rețea neuronală cu trei straturi, stocată în variabila model. Această rețea a fost folosită pentru un pas înainte (forward pass), iar pierderea și derivatele sale au fost calculate. A fost ales o rată de învățare implicită, lr, pentru a scala gradienții în momentul actualizării.
Acest exercițiu face parte din cursul
Introducere în Deep Learning cu PyTorch
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____