1. Learn
    2. /
  2. Kurser
    3. /
  3. Introduction to TensorFlow in Python
Connected

övning

局所最小値を回避する

前の問題では、局所最小値に簡単にはまり込んでしまうことを確認しました。変数が1つの単純な最適化問題でも、まず局所最小値を通過しなければならない場合、勾配降下法は大域最小値を見つけられませんでした。この問題を避ける一つの方法がモメンタムで、最適化器が局所最小値を突き抜けるのに役立ちます。ここでも前の問題の損失関数を使います。これは loss_function() として定義済みで利用できます。

複数の局所最小値と大域最小値を含む1変数関数のグラフ。

tensorflow のいくつかの最適化器（SGD や RMSprop など）にはモメンタムのパラメータがあります。本演習では RMSprop を使います。なお、今回は x_1 と x_2 が同じ値に初期化されています。さらに、keras.optimizers.RMSprop() は tensorflow からすでにインポート済みです。

Instruktioner

100 XP
  • opt_1 を学習率 0.01、モメンタム 0.99 で設定します。
  • opt_2 を、学習率 0.01、モメンタム 0.00 の RMS（root mean square）最適化器で設定します。
  • opt_2 の最小化処理を定義します。
  • x_1 と x_2 を numpy 配列として出力します。