Uppdatera vikterna manuellt
Nu när du vet hur du kommer åt vikter och biasvärden ska du manuellt utföra det som PyTorch-optimeraren annars sköter. Även om PyTorch automatiserar detta, hjälper manuell övning dig att bygga intuition för hur modeller lär sig och anpassar sig. Den förståelsen är värdefull när du felsöker eller finjusterar neurala nätverk.
Ett neuralt nätverk med tre lager har skapats och lagrats i variabeln model. Nätverket har använts för ett framåtpass och förlusten samt dess derivator har beräknats. En standardinlärningsfrekvens, lr, har valts för att skala gradienterna vid uppdateringen.
Den här övningen är en del av kursen
Introduktion till djupinlärning med PyTorch
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____