Ruční aktualizace vah

Teď, když víš, jak přistupovat k vahám a biasům, si ručně vyzkoušíš práci, kterou za tebe jinak dělá PyTorch optimizer. I když PyTorch tento proces automatizuje, ruční procvičení ti pomůže lépe pochopit, jak se modely učí a přizpůsobují. Toto pochopení se ti hodí při ladění nebo dolaďování neuronových sítí.

Neuronová síť se třemi vrstvami už je vytvořená a uložená v proměnné model. Tato síť prošla dopředným průchodem a byly vypočítány ztráta i její derivace. Jako výchozí rychlost učení bylo zvoleno lr, které slouží ke škálování gradientů při aktualizaci.

Vytvoř proměnné pro gradienty tak, že přistoupíš k lokálním gradientům každého tenzoru vah.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny 1/2

cvičení