Problema gradientului exploziv

În lecția video, ai aflat despre două probleme care pot apărea atunci când lucrezi cu modele RNN: problema gradientului dispărut și cea a gradientului exploziv.

Acest exercițiu explorează problema gradientului exploziv, arătând că derivata unei funcții poate crește exponențial și cum poți rezolva această problemă printr-o tehnică simplă.

Datele sunt deja încărcate în mediu ca X_train, X_test, y_train și y_test.

Vei folosi un optimizer Stochastic Gradient Descent (SGD) și Mean Squared Error (MSE) ca funcție de pierdere.

În primul pas, vei observa explozia gradientului calculând MSE pe seturile de antrenament și de testare. La pasul 2, vei schimba optimizerul folosind parametrul clipvalue pentru a rezolva problema.

Stochastic Gradient Descent în Keras este încărcat ca SGD.

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create a Keras model with one hidden Dense layer
model = Sequential()
model.add(Dense(25, input_dim=20, activation='relu', kernel_initializer=he_uniform(seed=42)))
model.add(Dense(1, activation='linear'))

# Compile and fit the model
model.compile(loss='mean_squared_error', optimizer=____(learning_rate=0.01, momentum=0.9))
history = model.fit(X_train, y_train, validation_data=(____, ____), epochs=100, verbose=0)

# See Mean Square Error for train and test data
train_mse = model.____(X_train, y_train, verbose=0)
test_mse = model.evaluate(X_test, y_test, verbose=0)

# Print the values of MSE
print('Train: %.3f, Test: %.3f' % (____, ____))

Editează și rulează codul

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța bazele Rețelelor Neuronale Recurente (RNN). Vei parcurge noțiunile preliminare necesare, vei înțelege cum circulă informația prin rețea și, în final, vei vedea cum se implementează astfel de modele cu Keras în sarcina de clasificare a sentimentelor.

Exercise 1: Introducere în curs Exercise 2: Compararea numărului de parametri ai RNN și ANN Exercise 3: Analiza sentimentelor Exercise 4: Modele sequence to sequence Exercise 5: Introducere în modelele de limbaj Exercise 6: Familiarizarea cu datele text Exercise 7: Pregătirea datelor text pentru intrarea în model Exercise 8: Transformarea unui text nou Exercise 9: Introducere în RNN cu Keras Exercise 10: Modele Keras Exercise 11: Preprocesare în Keras Exercise 12: Primul tău model RNN

Vei învăța despre problemele gradientului care dispare și ale gradientului exploziv, frecvente în RNN-uri, și cum le poți gestiona cu celulele GRU și LSTM. În plus, vei crea straturi de embedding pentru modele de limbaj și vei reveni asupra sarcinii de clasificare a sentimentelor.

Exercise 1: Gradienți care dispar și explodează Exercise 2: Problema gradientului exploziv

Exercițiul curent

Exercise 3: Problema gradientului care dispare Exercise 4: Celulele GRU și LSTM Exercise 5: Celulele GRU sunt mai bune decât SimpleRNN Exercise 6: Stivuirea straturilor RNN Exercise 7: Stratul Embedding Exercise 8: Compararea numărului de parametri Exercise 9: Transfer learning Exercise 10: Încorporările îmbunătățesc performanța Exercise 11: Clasificarea sentimentelor – revizuire Exercise 12: Clasificare de sentiment îmbunătățită Exercise 13: Utilizarea stratului CNN

În continuare, vei învăța cum să pregătești datele pentru sarcina de clasificare multiclasă, care sunt diferențele față de clasificarea binară (analiza sentimentelor) și cum să creezi modele și să le evaluezi performanța cu Keras.

Exercise 1: Pre-procesarea datelor Exercise 2: Pregătirea vectorilor de etichete Exercise 3: Pre-procesarea datelor Exercise 4: Transfer learning pentru modele de limbaj Exercise 5: Punct de plecare cu transfer learning Exercise 6: Word2Vec Exercise 7: Modele de clasificare multi-clasă Exercise 8: Explorarea setului de date 20 News Groups Exercise 9: Clasificarea articolelor de știri Exercise 10: Evaluarea performanței modelului Exercise 11: Compromisul Precizie-Recuperare Exercise 12: Precizie sau recuperare – aceasta este întrebarea Exercise 13: Performanța în clasificarea multi-clasă

Acest capitol îți prezintă două aplicații ale modelelor RNN: Generarea de Text și Traducerea Automată Neuronală. Vei învăța cum să pregătești datele text în formatul necesar modelelor. Modelul de Generare de Text este folosit pentru a replica stilul de vorbire al unui personaj – te vei distra imitându-l pe Sheldon din The Big Bang Theory. Traducerea Automată Neuronală este utilizată, de exemplu, de Google Translate, într-un model mult mai complex. În acest capitol, vei crea un model care traduce propoziții scurte din portugheză în engleză.

Exercise 1: Modele Sequence to Sequence Exercise 2: Exemple de generare de text Exercise 3: Exemplu de NMT Exercise 4: Funcția de generare a textului Exercise 5: Prezice următorul caracter Exercise 6: Generează o propoziție cu context Exercise 7: Modifică scala de probabilitate Exercise 8: Modele de generare a textului Exercise 9: Creează vectori de propoziții și caractere următoare Exercise 10: Pregătirea datelor pentru antrenament Exercise 11: Crearea modelului de generare a textului Exercise 12: Traducere automată neuronală Exercise 13: Pregătirea textului de intrare Exercise 14: Pregătirea textului de ieșire Exercise 15: Traduce din portugheză în engleză Exercise 16: Felicitări!