1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorchで学ぶIntroduction to Deep Learning
Connected

演習

モメンタムを試してみる

この演習では、最適なモメンタムを見つけて、最適化手法が次の非凸関数 \(x^{4} + x^{3} - 5x^{2}\) の最小値を20ステップで見つけられるようにすることが目標です。2つの異なるモメンタム値を試します。なお、この問題では学習率は 0.01 に固定されています。

momentum パラメータを入力として受け取る optimize_and_plot() 関数が用意されています。この関数は SGD オプティマイザで20ステップ実行し、結果を表示します。

指示1 / 2

undefined XP
  • 1
    • まずは、オプティマイザが最初の極小値で行き詰まるようなモメンタムの値を試してください。
  • 2
    • 次に、オプティマイザが大域的最適解を見つけられるようなモメンタムの値を試してください。