Experimentând cu momentul
În acest exercițiu, scopul tău este să găsești valoarea optimă a momentului astfel încât optimizatorul să poată găsi minimul funcției non-convexe \(x^{4} + x^{3} - 5x^{2}\) în 20 de pași. Vei experimenta cu două valori diferite ale momentului. Pentru această problemă, rata de învățare este fixată la 0,01.
Ți se pune la dispoziție funcția optimize_and_plot(), care acceptă ca parametru de intrare momentum. Această funcție va rula 20 de pași ai optimizatorului SGD și va afișa rezultatele.
Acest exercițiu face parte din cursul
Introducere în Deep Learning cu PyTorch
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)