Ręczna aktualizacja wag
Wiesz już, jak uzyskać dostęp do wag i odchyleń. Teraz ręcznie wykonasz zadanie, które normalnie należy do optymalizatora PyTorch. Choć PyTorch automatyzuje ten proces, ćwiczenie go ręcznie pozwala lepiej zrozumieć, jak modele uczą się i dostosowują parametry. Ta wiedza przyda się podczas debugowania lub dostrajania sieci neuronowych.
Utworzono trójwarstwową sieć neuronową, zapisaną jako zmienna model. Sieć ta przeszła przez propagację w przód, obliczono stratę oraz jej pochodne. Wybrano domyślny współczynnik uczenia, lr, który służy do skalowania gradientów podczas aktualizacji.
To ćwiczenie jest częścią kursu
Wprowadzenie do uczenia głębokiego z PyTorch
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____