1. Nauka
    2. /
  2. Kursy
    3. /
  3. Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras
Connected

ćwiczenie

Problem eksplodujących gradientów

W ćwiczeniu wideo poznałeś(-aś) dwa problemy, które mogą pojawić się podczas pracy z modelami RNN: zanikające i eksplodujące gradienty.

To ćwiczenie bada problem eksplodujących gradientów – pokazuje, że pochodna funkcji może rosnąć wykładniczo, oraz jak rozwiązać ten problem za pomocą prostej techniki.

Dane są już wczytane do środowiska jako X_train, X_test, y_train i y_test.

Użyjesz optymalizatora Stochastic Gradient Descent (SGD) oraz Mean Squared Error (MSE) jako funkcji straty.

W pierwszym kroku zaobserwujesz eksplozję gradientu, obliczając MSE na zbiorach treningowym i testowym. W kroku 2 zmienisz optymalizator, używając parametru clipvalue, aby rozwiązać ten problem.

Stochastic Gradient Descent w Keras jest wczytany jako SGD.

Instrukcje 1/2

undefined XP
    1
    2
  • Użyj SGD() jako optymalizatora i (X_test, y_test) jako danych walidacyjnych.
  • Oceń wydajność na zbiorze treningowym i wyświetl wszystkie wartości MSE.