1. 学ぶ
    2. /
  2. コース
    3. /
  3. Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)
Connected

演習

勾配爆発の問題

動画の演習では、RNNモデルでよく起こる2つの問題、勾配消失と勾配爆発について学びました。

この演習では、勾配爆発の問題を取り上げ、関数の導関数が指数的に大きくなること、そしてそれを簡単なテクニックで解決する方法を確認します。

データはすでに環境に X_train、X_test、y_train、y_test として読み込まれています。

最適化手法には Stochastic Gradient Descent (SGD) を、損失関数には Mean Squared Error (MSE) を使用します。

最初のステップでは、学習データとテストデータでMSEを計算し、勾配爆発が起きている様子を観察します。ステップ2では、clipvalue パラメータを使って最適化手法を変更し、問題を解決します。

KerasでのStochastic Gradient Descentは SGD として利用できます。

指示1 / 2

undefined XP
    1
    2
  • 最適化手法に SGD() を使い、検証データに (X_test, y_test) を指定します。
  • 学習時の性能を評価し、すべての MSE の値を出力します。