嘗試不同的學習率
在這個練習中,你的目標是找出最佳的學習率,讓最佳化器能在 10 步內找到非凸函式 \(x^{4} + x^{3} - 5x^{2}\) 的最小值。
你會嘗試三個不同的學習率數值。針對本題,請嘗試 0.001 到 0.1 之間的學習率。
我們已提供 optimize_and_plot() 函式,其第一個引數為學習率。這個函式會執行 SGD 最佳化器的 10 步,並顯示結果。
本練習屬於課程
使用 PyTorch 的深度學習入門
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)