Ręczna aktualizacja wag

Wiesz już, jak uzyskać dostęp do wag i odchyleń. Teraz ręcznie wykonasz zadanie, które normalnie należy do optymalizatora PyTorch. Choć PyTorch automatyzuje ten proces, ćwiczenie go ręcznie pozwala lepiej zrozumieć, jak modele uczą się i dostosowują parametry. Ta wiedza przyda się podczas debugowania lub dostrajania sieci neuronowych.

Utworzono trójwarstwową sieć neuronową, zapisaną jako zmienna model. Sieć ta przeszła przez propagację w przód, obliczono stratę oraz jej pochodne. Wybrano domyślny współczynnik uczenia, lr, który służy do skalowania gradientów podczas aktualizacji.

Utwórz zmienne gradientów, uzyskując dostęp do lokalnych gradientów każdego tensora wag.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje 1/2

ćwiczenie