1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras
Connected

cvičení

Problém explodujícího gradientu

Ve videolekci ses seznámil/a se dvěma problémy, které mohou nastat při práci s modely RNN: mizejícím a explodujícím gradientem.

Toto cvičení se zaměřuje na problém explodujícího gradientu – ukážeme si, že derivace funkce může růst exponenciálně, a jak tento problém vyřešit jednoduchou technikou.

Data jsou v prostředí už načtena jako X_train, X_test, y_train a y_test.

Použiješ optimalizátor Stochastic Gradient Descent (SGD) a jako ztrátovou funkci Mean Squared Error (MSE).

V prvním kroku sleduj explozi gradientu výpočtem MSE na trénovací a testovací sadě. Ve druhém kroku uprav optimalizátor pomocí parametru clipvalue a problém vyřeš.

Stochastic Gradient Descent je v Kerasu načten jako SGD.

Pokyny 1/2

undefined XP
    1
    2
  • Jako optimalizátor použij SGD() a jako validační data (X_test, y_test).
  • Vyhodnoť výkon na trénovací sadě a vypiš všechny hodnoty MSE.