Compararea numărului de parametri

Ai văzut că reprezentarea one-hot nu este o reprezentare bună a cuvintelor, deoarece este foarte sparsă. Folosirea stratului Embedding creează o reprezentare densă a vectorilor, însă necesită și un număr mare de parametri de învățat.

În acest exercițiu vei compara numărul de parametri al două modele – unul care folosește embeddings și altul care folosește codificarea one-hot – pentru a observa diferența.

Modelul model_onehot este deja încărcat în mediu, alături de Sequential, Dense și GRU din keras. De asemenea, parametrii vocabulary_size=80000 și sentence_len=200 sunt deja definiți.

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Instrucțiuni pentru exercițiu

Importă stratul Embedding din keras.layers.
La stratul de embedding, folosește dimensiunea vocabularului plus unu ca dimensiune de intrare și dimensiunea propoziției ca lungime de intrare.
Compilează modelul.
Afișează rezumatul modelului cu embedding.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the embedding layer
from tensorflow.keras.layers import ____

# Create a model with embeddings
model = Sequential(name="emb_model")
model.add(Embedding(input_dim=____, output_dim=wordvec_dim, input_length=____, trainable=True))
model.add(GRU(128))
model.add(Dense(1))
model.____(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Print the summaries of the one-hot model
model_onehot.summary()

# Print the summaries of the model with embeddings
model.____

Editează și rulează codul

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța bazele Rețelelor Neuronale Recurente (RNN). Vei parcurge noțiunile preliminare necesare, vei înțelege cum circulă informația prin rețea și, în final, vei vedea cum se implementează astfel de modele cu Keras în sarcina de clasificare a sentimentelor.

Exercise 1: Introducere în curs Exercise 2: Compararea numărului de parametri ai RNN și ANN Exercise 3: Analiza sentimentelor Exercise 4: Modele sequence to sequence Exercise 5: Introducere în modelele de limbaj Exercise 6: Familiarizarea cu datele text Exercise 7: Pregătirea datelor text pentru intrarea în model Exercise 8: Transformarea unui text nou Exercise 9: Introducere în RNN cu Keras Exercise 10: Modele Keras Exercise 11: Preprocesare în Keras Exercise 12: Primul tău model RNN

Vei învăța despre problemele gradientului care dispare și ale gradientului exploziv, frecvente în RNN-uri, și cum le poți gestiona cu celulele GRU și LSTM. În plus, vei crea straturi de embedding pentru modele de limbaj și vei reveni asupra sarcinii de clasificare a sentimentelor.

Exercise 1: Gradienți care dispar și explodează Exercise 2: Problema gradientului exploziv Exercise 3: Problema gradientului care dispare Exercise 4: Celulele GRU și LSTM Exercise 5: Celulele GRU sunt mai bune decât SimpleRNN Exercise 6: Stivuirea straturilor RNN Exercise 7: Stratul Embedding Exercise 8: Compararea numărului de parametri

Exercițiul curent

Exercise 9: Transfer learning Exercise 10: Încorporările îmbunătățesc performanța Exercise 11: Clasificarea sentimentelor – revizuire Exercise 12: Clasificare de sentiment îmbunătățită Exercise 13: Utilizarea stratului CNN

În continuare, vei învăța cum să pregătești datele pentru sarcina de clasificare multiclasă, care sunt diferențele față de clasificarea binară (analiza sentimentelor) și cum să creezi modele și să le evaluezi performanța cu Keras.

Exercise 1: Pre-procesarea datelor Exercise 2: Pregătirea vectorilor de etichete Exercise 3: Pre-procesarea datelor Exercise 4: Transfer learning pentru modele de limbaj Exercise 5: Punct de plecare cu transfer learning Exercise 6: Word2Vec Exercise 7: Modele de clasificare multi-clasă Exercise 8: Explorarea setului de date 20 News Groups Exercise 9: Clasificarea articolelor de știri Exercise 10: Evaluarea performanței modelului Exercise 11: Compromisul Precizie-Recuperare Exercise 12: Precizie sau recuperare – aceasta este întrebarea Exercise 13: Performanța în clasificarea multi-clasă

Acest capitol îți prezintă două aplicații ale modelelor RNN: Generarea de Text și Traducerea Automată Neuronală. Vei învăța cum să pregătești datele text în formatul necesar modelelor. Modelul de Generare de Text este folosit pentru a replica stilul de vorbire al unui personaj – te vei distra imitându-l pe Sheldon din The Big Bang Theory. Traducerea Automată Neuronală este utilizată, de exemplu, de Google Translate, într-un model mult mai complex. În acest capitol, vei crea un model care traduce propoziții scurte din portugheză în engleză.

Exercise 1: Modele Sequence to Sequence Exercise 2: Exemple de generare de text Exercise 3: Exemplu de NMT Exercise 4: Funcția de generare a textului Exercise 5: Prezice următorul caracter Exercise 6: Generează o propoziție cu context Exercise 7: Modifică scala de probabilitate Exercise 8: Modele de generare a textului Exercise 9: Creează vectori de propoziții și caractere următoare Exercise 10: Pregătirea datelor pentru antrenament Exercise 11: Crearea modelului de generare a textului Exercise 12: Traducere automată neuronală Exercise 13: Pregătirea textului de intrare Exercise 14: Pregătirea textului de ieșire Exercise 15: Traduce din portugheză în engleză Exercise 16: Felicitări!