Familiarizarea cu datele text

În acest exercițiu, vei lucra cu date text analizând citate ale lui Sheldon Cooper din serialul The Big Bang Theory. Vei avea astfel ocazia să explorezi propoziții și să înțelegi cum este să lucrezi cu date text din lumea reală.

Vei folosi expresii de tip dicționar (dictionary comprehensions) pentru a crea dicționare care mapează cuvintele la indecși și invers. Motivul pentru care se folosesc dicționare în locul unui pandas.DataFrame, de exemplu, este că sunt mai intuitive și nu adaugă complexitate inutilă.

Datele sunt disponibile în sheldon_quotes, iar primele două propoziții sunt deja afișate pentru tine.

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Instrucțiuni pentru exercițiu

Unește propozițiile într-o singură variabilă folosind join, extrage toate cuvintele și stochează lista în all_words.
Elimină cuvintele duplicate aplicând list(set()) pe lista de cuvinte și stochează rezultatul în unique_words.
Creează un dicționar cu indecși ca chei și cuvinte ca valori, folosind o expresie de tip dicționar (dictionary comprehension).
Creează un dicționar cu cuvinte ca chei și indecși ca valori, folosind o expresie de tip dicționar (dictionary comprehension).

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Transform the list of sentences into a list of words
all_words = ' '.____(sheldon_quotes).split(' ')

# Get number of unique words
unique_words = list(set(all_words))

# Dictionary of indexes as keys and words as values
index_to_word = {____ for i, wd in enumerate(sorted(unique_words))}

print(index_to_word)

# Dictionary of words as keys and indexes as values
word_to_index = {wd:i for ____ in enumerate(sorted(unique_words))}

print(word_to_index)

Editează și rulează codul

Acest exercițiu face parte din cursul

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța bazele Rețelelor Neuronale Recurente (RNN). Vei parcurge noțiunile preliminare necesare, vei înțelege cum circulă informația prin rețea și, în final, vei vedea cum se implementează astfel de modele cu Keras în sarcina de clasificare a sentimentelor.

Exercise 1: Introducere în curs Exercise 2: Compararea numărului de parametri ai RNN și ANN Exercise 3: Analiza sentimentelor Exercise 4: Modele sequence to sequence Exercise 5: Introducere în modelele de limbaj Exercise 6: Familiarizarea cu datele text

Exercițiul curent

Exercise 7: Pregătirea datelor text pentru intrarea în model Exercise 8: Transformarea unui text nou Exercise 9: Introducere în RNN cu Keras Exercise 10: Modele Keras Exercise 11: Preprocesare în Keras Exercise 12: Primul tău model RNN

Vei învăța despre problemele gradientului care dispare și ale gradientului exploziv, frecvente în RNN-uri, și cum le poți gestiona cu celulele GRU și LSTM. În plus, vei crea straturi de embedding pentru modele de limbaj și vei reveni asupra sarcinii de clasificare a sentimentelor.

Exercise 1: Gradienți care dispar și explodează Exercise 2: Problema gradientului exploziv Exercise 3: Problema gradientului care dispare Exercise 4: Celulele GRU și LSTM Exercise 5: Celulele GRU sunt mai bune decât SimpleRNN Exercise 6: Stivuirea straturilor RNN Exercise 7: Stratul Embedding Exercise 8: Compararea numărului de parametri Exercise 9: Transfer learning Exercise 10: Încorporările îmbunătățesc performanța Exercise 11: Clasificarea sentimentelor – revizuire Exercise 12: Clasificare de sentiment îmbunătățită Exercise 13: Utilizarea stratului CNN

În continuare, vei învăța cum să pregătești datele pentru sarcina de clasificare multiclasă, care sunt diferențele față de clasificarea binară (analiza sentimentelor) și cum să creezi modele și să le evaluezi performanța cu Keras.

Exercise 1: Pre-procesarea datelor Exercise 2: Pregătirea vectorilor de etichete Exercise 3: Pre-procesarea datelor Exercise 4: Transfer learning pentru modele de limbaj Exercise 5: Punct de plecare cu transfer learning Exercise 6: Word2Vec Exercise 7: Modele de clasificare multi-clasă Exercise 8: Explorarea setului de date 20 News Groups Exercise 9: Clasificarea articolelor de știri Exercise 10: Evaluarea performanței modelului Exercise 11: Compromisul Precizie-Recuperare Exercise 12: Precizie sau recuperare – aceasta este întrebarea Exercise 13: Performanța în clasificarea multi-clasă

Acest capitol îți prezintă două aplicații ale modelelor RNN: Generarea de Text și Traducerea Automată Neuronală. Vei învăța cum să pregătești datele text în formatul necesar modelelor. Modelul de Generare de Text este folosit pentru a replica stilul de vorbire al unui personaj – te vei distra imitându-l pe Sheldon din The Big Bang Theory. Traducerea Automată Neuronală este utilizată, de exemplu, de Google Translate, într-un model mult mai complex. În acest capitol, vei crea un model care traduce propoziții scurte din portugheză în engleză.

Exercise 1: Modele Sequence to Sequence Exercise 2: Exemple de generare de text Exercise 3: Exemplu de NMT Exercise 4: Funcția de generare a textului Exercise 5: Prezice următorul caracter Exercise 6: Generează o propoziție cu context Exercise 7: Modifică scala de probabilitate Exercise 8: Modele de generare a textului Exercise 9: Creează vectori de propoziții și caractere următoare Exercise 10: Pregătirea datelor pentru antrenament Exercise 11: Crearea modelului de generare a textului Exercise 12: Traducere automată neuronală Exercise 13: Pregătirea textului de intrare Exercise 14: Pregătirea textului de ieșire Exercise 15: Traduce din portugheză în engleză Exercise 16: Felicitări!