Experimentování s learning rate
V tomto cvičení je tvým cílem najít optimální learning rate tak, aby optimalizátor dokázal najít minimum nekonvexní funkce \(x^{4} + x^{3} - 5x^{2}\) v deseti krocích.
Vyzkouší tři různé hodnoty learning rate. Pro tento problém testuj hodnoty v rozsahu od 0,001 do 0,1.
Máš k dispozici funkci optimize_and_plot(), která přijímá learning rate jako první argument. Tato funkce spustí 10 kroků SGD optimalizátoru a zobrazí výsledky.
Toto cvičení je součástí kurzu
Introduction to Deep Learning with PyTorch
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)