モメンタムを試してみる

この演習では、最適なモメンタムを見つけて、最適化手法が次の非凸関数 \(x^{4} + x^{3} - 5x^{2}\) の最小値を20ステップで見つけられるようにすることが目標です。2つの異なるモメンタム値を試します。なお、この問題では学習率は 0.01 に固定されています。

momentum パラメータを入力として受け取る optimize_and_plot() 関数が用意されています。この関数は SGD オプティマイザで20ステップ実行し、結果を表示します。