Analiza frecvenței cuvintelor

Felicitări! Tocmai ai intrat în echipa PyBooks. PyBooks dezvoltă un sistem de recomandare a cărților și dorește să identifice tipare și tendințe în text pentru a îmbunătăți recomandările.

Pentru început, vei analiza frecvența cuvintelor dintr-un text dat și vei elimina cuvintele rare.

Reține că seturile de date reale vor fi, de obicei, mai mari decât acest exemplu.

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

Instrucțiuni pentru exercițiu

Importă get_tokenizer din torchtext și FreqDist din biblioteca nltk.
Inițializează tokenizatorul pentru limba engleză și tokenizează textul dat (text).
Calculează distribuția frecvenței pentru tokens și elimină cuvintele rare folosind list comprehension.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the necessary functions
from torchtext.data.utils import ____
from nltk.probability import ____

text = "In the city of Dataville, a data analyst named Alex explores hidden insights within vast data. With determination, Alex uncovers patterns, cleanses the data, and unlocks innovation. Join this adventure to unleash the power of data-driven decisions."

# Initialize the tokenizer and tokenize the text
tokenizer = ____("basic_english")
tokens = tokenizer(____)

threshold = 1
# Remove rare words and print common tokens
freq_dist = ____(____)
common_tokens = [token for token in tokens if ____[token] > ____]
print(common_tokens)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol te introduce în învățarea profundă aplicată textului și în domeniile sale de utilizare. Vei învăța să folosești PyTorch pentru procesarea textului și vei exersa tehnici precum tokenizarea, stemming-ul, eliminarea cuvintelor de stop și altele. Vei înțelege importanța codificării datelor text și vei implementa tehnici de codificare cu PyTorch. La final, îți vei consolida cunoștințele construind un pipeline de procesare a textului care combină aceste tehnici.

Exercise 1: Introducere în preprocesarea textului Exercise 2: Analiza frecvenței cuvintelor

Exercițiul curent

Exercise 3: Preprocesarea textului Exercise 4: Codificarea datelor text Exercise 5: Titluri de cărți codificate one-hot Exercise 6: Bag-of-words pentru titluri de cărți Exercise 7: Aplicarea TF-IDF pe descrierile de cărți Exercise 8: Introducere în construirea unui pipeline de procesare a textului Exercise 9: Pipeline de preprocesare a limbajului shakespearian Exercise 10: Encoder pentru limbajul shakespearian

Explorează clasificarea textului și rolul acesteia în Procesarea Limbajului Natural (NLP). Îți vei pune în practică cunoștințele implementând word embeddings și dezvoltând atât Rețele Neuronale Convoluționale (CNN), cât și Rețele Neuronale Recurente (RNN) pentru clasificarea textului cu PyTorch. Vei înțelege, de asemenea, cum să evaluezi modelele folosind metrici adecvate.

Exercise 1: Prezentare generală a clasificării textului Exercise 2: Încorporare (Embedding) în PyTorch Exercise 3: Categorizarea sarcinilor de clasificare a textului Exercise 4: Rețele neuronale convoluționale pentru clasificarea textului Exercise 5: Construiește un model CNN pentru text Exercise 6: Antrenează un model CNN pentru text Exercise 7: Testarea modelului CNN de analiză a sentimentelor Exercise 8: Rețele neuronale recurente pentru clasificarea textului Exercise 9: Construirea unui model RNN pentru text Exercise 10: Construirea unui model LSTM pentru text Exercise 11: Construirea unui model GRU pentru text Exercise 12: Metrici de evaluare pentru clasificarea textului Exercise 13: Evaluarea modelelor de clasificare RNN Exercise 14: Evaluarea performanței modelului Exercise 15: Compararea modelelor

Aventurează-te în fascinanta lume a generării de text și a aplicațiilor sale în NLP. Vei înțelege cum să valorifici Rețelele Neuronale Recurente (RNN), Rețelele Adversariale Generative (GAN) și modelele pre-antrenate pentru sarcini de generare a textului cu PyTorch. În plus, vei învăța să evaluezi performanța modelelor folosind metrici relevante.

Exercise 1: Introducere în generarea de text Exercise 2: Crearea unui model RNN pentru generarea de text Exercise 3: Generarea de text cu RNN – Antrenare și generare Exercise 4: Rețele generative adversariale pentru generarea de text Exercise 5: Construirea unui generator și a unui discriminator Exercise 6: Antrenarea unui model GAN Exercise 7: Modele pre-antrenate pentru generarea de text Exercise 8: Completarea textului cu modele GPT-2 pre-antrenate Exercise 9: Traducere automată cu un model PyTorch pre-antrenat Exercise 10: Metrici de evaluare pentru generarea de text Exercise 11: Evaluarea unui model preantrenat de generare a textului Exercise 12: Înțelegerea metricilor pentru generarea de text

Înțelege conceptul de transfer learning și aplicarea sa în clasificarea textului. Explorează Transformerele, arhitectura lor și modul în care pot fi folosite pentru clasificarea și generarea textului. Vei aprofunda, de asemenea, mecanismele de atenție și rolul lor în procesarea textului. La final, vei înțelege impactul potențial al atacurilor adversariale asupra modelelor de clasificare a textului și vei învăța cum să îți protejezi modelele.

Exercise 1: Transfer learning pentru clasificarea textului Exercise 2: Transfer learning cu BERT Exercise 3: Evaluarea modelului BERT Exercise 4: Transformere pentru procesarea textului Exercise 5: Crearea unui model transformer Exercise 6: Antrenarea și testarea modelului Transformer Exercise 7: Mecanisme de atenție pentru procesarea textului Exercise 8: Crearea unui model RNN cu atenție Exercise 9: Antrenarea și testarea modelului RNN cu atenție Exercise 10: Atacuri adversariale asupra modelelor de clasificare a textului Exercise 11: Clasificarea atacurilor adversariale Exercise 12: Protejarea inteligenței artificiale la PyBooks Exercise 13: Rezumat