Experimentează cu rata de învățare
În acest exercițiu, scopul tău este să găsești rata de învățare optimă astfel încât optimizatorul să poată găsi minimul funcției neconvexe \(x^{4} + x^{3} - 5x^{2}\) în zece pași.
Vei experimenta cu trei valori diferite ale ratei de învățare. Pentru această problemă, încearcă valori ale ratei de învățare cuprinse între 0,001 și 0,1.
Îți este furnizată funcția optimize_and_plot(), care primește rata de învățare ca prim argument. Această funcție va rula 10 pași ai optimizatorului SGD și va afișa rezultatele.
Acest exercițiu face parte din cursul
Introducere în Deep Learning cu PyTorch
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)