Aggiornare manualmente i pesi
Ora che sai come accedere a pesi e bias, eseguirai manualmente il lavoro dell'ottimizzatore di PyTorch. Anche se PyTorch lo automatizza, farlo a mano ti aiuta a sviluppare intuizioni su come i modelli apprendono e si adattano. Questa comprensione sarà preziosa quando farai debug o fine-tuning delle reti neurali.
È stata creata una rete neurale a tre layer e salvata nella variabile model. Questa rete è stata usata per un forward pass e sono stati calcolati la loss e le sue derivate. È stato scelto un learning rate predefinito, lr, per scalare i gradienti durante l'aggiornamento.
Questo esercizio fa parte del corso
Introduzione al Deep Learning con PyTorch
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____