Eksperymenty ze współczynnikiem uczenia
W tym ćwiczeniu Twoim celem jest znalezienie optymalnego współczynnika uczenia, przy którym optymalizator znajdzie minimum funkcji niewypukłej \(x^{4} + x^{3} - 5x^{2}\) w dziesięciu krokach.
Wypróbujesz trzy różne wartości współczynnika uczenia. W tym zadaniu stosuj wartości z zakresu od 0,001 do 0,1.
Do dyspozycji masz funkcję optimize_and_plot(), która przyjmuje współczynnik uczenia jako pierwszy argument. Funkcja ta wykonuje 10 kroków optymalizatora SGD i wyświetla wyniki.
To ćwiczenie jest częścią kursu
Wprowadzenie do uczenia głębokiego z PyTorch
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)