Eksperymenty z momentum
W tym ćwiczeniu twoim celem jest znalezienie optymalnej wartości momentum, dzięki której optymalizator znajdzie minimum funkcji \(x^{4} + x^{3} - 5x^{2}\) w 20 krokach. Przetestujesz dwie różne wartości momentum. Współczynnik uczenia jest stały i wynosi 0,01.
Do dyspozycji masz funkcję optimize_and_plot(), która przyjmuje parametr momentum. Funkcja ta wykona 20 kroków optymalizatora SGD i wyświetli wyniki.
To ćwiczenie jest częścią kursu
Wprowadzenie do uczenia głębokiego z PyTorch
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)