Ruční aktualizace vah
Teď, když víš, jak přistupovat k vahám a biasům, si ručně vyzkoušíš práci, kterou za tebe jinak dělá PyTorch optimizer. I když PyTorch tento proces automatizuje, ruční procvičení ti pomůže lépe pochopit, jak se modely učí a přizpůsobují. Toto pochopení se ti hodí při ladění nebo dolaďování neuronových sítí.
Neuronová síť se třemi vrstvami už je vytvořená a uložená v proměnné model. Tato síť prošla dopředným průchodem a byly vypočítány ztráta i její derivace. Jako výchozí rychlost učení bylo zvoleno lr, které slouží ke škálování gradientů při aktualizaci.
Toto cvičení je součástí kurzu
Introduction to Deep Learning with PyTorch
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____