Experimentera med momentum
I den här övningen är målet att hitta det optimala momentumvärdet så att optimeraren kan hitta minimumet för den icke-konvexa funktionen \(x^{4} + x^{3} - 5x^{2}\) på 20 steg. Du kommer att prova två olika momentumvärden. Inlärningshastigheten är fast inställd på 0,01 för det här problemet.
Du har tillgång till funktionen optimize_and_plot(), som tar parametern momentum som indata. Funktionen kör 20 steg med SGD-optimeraren och visar resultaten.
Den här övningen är en del av kursen
Introduktion till djupinlärning med PyTorch
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)