Experimentera med inlärningshastigheten
I den här övningen är målet att hitta den optimala inlärningshastigheten så att optimeraren kan hitta minimipunkten för den icke-konvexa funktionen \(x^{4} + x^{3} - 5x^{2}\) på tio steg.
Du kommer att experimentera med tre olika värden på inlärningshastigheten. Prova värden mellan 0,001 och 0,1.
Du har tillgång till funktionen optimize_and_plot(), som tar inlärningshastigheten som första argument. Funktionen kör 10 steg av SGD-optimeraren och visar resultaten.
Den här övningen är en del av kursen
Introduktion till djupinlärning med PyTorch
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)