Pregătirea datelor pentru antrenament

În acest exercițiu, vei continua să pregătești datele pentru antrenarea modelului. După ce ai creat tablourile de propoziții și caractere următoare, trebuie să le transformi în valori numerice care pot fi folosite de model.

Acest pas este necesar deoarece modelele RNN acceptă doar numere, nu șiruri de caractere. Vei crea tablouri numerice cu zerouri sau unu în pozițiile care reprezintă caracterele prezente în propoziții. Unu (sau True) indică faptul că caracterul corespunzător este prezent, în timp ce zero (sau False) indică absența caracterului în acea poziție din propoziție.

Variabilele sentences, next_char, n_vocab, chars_window, num_seqs (numărul de propoziții din datele de antrenament) sunt deja încărcate în mediu, alături de numpy importat ca np.

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Instrucțiuni pentru exercițiu

Instanțiază un np.array() cu zerouri și forma (număr de propoziții, fereastra de caractere, dimensiunea vocabularului).
Folosește dicționarul char_to_index pentru a seta poziția caracterului curent la 1.
Setează caracterul următor curent la 1.
Afișează prima poziție din fiecare tablou.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Instantiate the variables with zeros
numerical_sentences = np.zeros((____, ____, ____), dtype=np.bool)
numerical_next_chars = np.zeros((num_seqs, n_vocab), dtype=np.bool)

# Loop for every sentence
for i, sentence in enumerate(sentences):
  # Loop for every character in sentence
  for t, char in enumerate(sentence):
    # Set position of the character to 1
    numerical_sentences[i, t, ____] = ____
    # Set next character to 1
    ____[i, char_to_index[next_chars[i]]] = 1

# Print the first position of each
print(____, ____, sep="\n")

Editează și rulează codul

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța bazele Rețelelor Neuronale Recurente (RNN). Vei parcurge noțiunile preliminare necesare, vei înțelege cum circulă informația prin rețea și, în final, vei vedea cum se implementează astfel de modele cu Keras în sarcina de clasificare a sentimentelor.

Exercise 1: Introducere în curs Exercise 2: Compararea numărului de parametri ai RNN și ANN Exercise 3: Analiza sentimentelor Exercise 4: Modele sequence to sequence Exercise 5: Introducere în modelele de limbaj Exercise 6: Familiarizarea cu datele text Exercise 7: Pregătirea datelor text pentru intrarea în model Exercise 8: Transformarea unui text nou Exercise 9: Introducere în RNN cu Keras Exercise 10: Modele Keras Exercise 11: Preprocesare în Keras Exercise 12: Primul tău model RNN

Vei învăța despre problemele gradientului care dispare și ale gradientului exploziv, frecvente în RNN-uri, și cum le poți gestiona cu celulele GRU și LSTM. În plus, vei crea straturi de embedding pentru modele de limbaj și vei reveni asupra sarcinii de clasificare a sentimentelor.

Exercise 1: Gradienți care dispar și explodează Exercise 2: Problema gradientului exploziv Exercise 3: Problema gradientului care dispare Exercise 4: Celulele GRU și LSTM Exercise 5: Celulele GRU sunt mai bune decât SimpleRNN Exercise 6: Stivuirea straturilor RNN Exercise 7: Stratul Embedding Exercise 8: Compararea numărului de parametri Exercise 9: Transfer learning Exercise 10: Încorporările îmbunătățesc performanța Exercise 11: Clasificarea sentimentelor – revizuire Exercise 12: Clasificare de sentiment îmbunătățită Exercise 13: Utilizarea stratului CNN

În continuare, vei învăța cum să pregătești datele pentru sarcina de clasificare multiclasă, care sunt diferențele față de clasificarea binară (analiza sentimentelor) și cum să creezi modele și să le evaluezi performanța cu Keras.

Exercise 1: Pre-procesarea datelor Exercise 2: Pregătirea vectorilor de etichete Exercise 3: Pre-procesarea datelor Exercise 4: Transfer learning pentru modele de limbaj Exercise 5: Punct de plecare cu transfer learning Exercise 6: Word2Vec Exercise 7: Modele de clasificare multi-clasă Exercise 8: Explorarea setului de date 20 News Groups Exercise 9: Clasificarea articolelor de știri Exercise 10: Evaluarea performanței modelului Exercise 11: Compromisul Precizie-Recuperare Exercise 12: Precizie sau recuperare – aceasta este întrebarea Exercise 13: Performanța în clasificarea multi-clasă

Acest capitol îți prezintă două aplicații ale modelelor RNN: Generarea de Text și Traducerea Automată Neuronală. Vei învăța cum să pregătești datele text în formatul necesar modelelor. Modelul de Generare de Text este folosit pentru a replica stilul de vorbire al unui personaj – te vei distra imitându-l pe Sheldon din The Big Bang Theory. Traducerea Automată Neuronală este utilizată, de exemplu, de Google Translate, într-un model mult mai complex. În acest capitol, vei crea un model care traduce propoziții scurte din portugheză în engleză.

Exercise 1: Modele Sequence to Sequence Exercise 2: Exemple de generare de text Exercise 3: Exemplu de NMT Exercise 4: Funcția de generare a textului Exercise 5: Prezice următorul caracter Exercise 6: Generează o propoziție cu context Exercise 7: Modifică scala de probabilitate Exercise 8: Modele de generare a textului Exercise 9: Creează vectori de propoziții și caractere următoare Exercise 10: Pregătirea datelor pentru antrenament

Exercițiul curent

Exercise 11: Crearea modelului de generare a textului Exercise 12: Traducere automată neuronală Exercise 13: Pregătirea textului de intrare Exercise 14: Pregătirea textului de ieșire Exercise 15: Traduce din portugheză în engleză Exercise 16: Felicitări!