Eliminarea termenilor rari

Rularea modelelor de clasificare pe matrice rare poate fi un coșmar din punct de vedere computațional. Fără acces la GPU-uri sau resurse de calcul în cloud, s-ar putea să întâmpini probleme de timp și memorie pe calculatorul tău local. Ai la dispoziție o matrice document-termen și intenționezi să rulezi mai mulți algoritmi diferiți pentru a găsi cel mai bun model de clasificare. În acest exercițiu, vei elimina câțiva termeni rari din matricea furnizată, matrix, la diferite niveluri de raritate.

Pentru fiecare nivel de raritate, notează numărul de termeni rămași în matrice.

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

less_sparse_matrix <-
  ___(___, sparse = ___)

# Print results
matrix
less_sparse_matrix

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Începe cursul gratuit

Capitolul 1 al cursului Introducere în Prelucrarea Limbajului Natural te pregătește să rulezi prima ta analiză pe text. Vei explora expresiile regulate și tokenizarea – două dintre cele mai frecvente componente ale majorității sarcinilor de analiză. Cu expresii regulate poți căuta orice tipar îți imaginezi, iar cu tokenizarea poți pregăti și curăța textul pentru analize mai sofisticate. Acest capitol este esențial pentru a aborda tehnicile pe care le vei învăța în capitolele următoare.

Exercise 1: Bazele expresiilor regulate Exercise 2: Exersarea sintaxei cu grep Exercise 3: Explorarea funcțiilor pentru expresii regulate.Exercise 4: Tokenizare Exercise 5: Funcțiile din tidytext Exercise 6: Tokenizare: propoziții Exercise 7: Noțiuni de bază despre curățarea textului Exercise 8: Preprocesarea textului: eliminarea cuvintelor de oprire Exercise 9: Preprocesarea textului: Stemming

În acest capitol, vei învăța cele mai comune și studiate metode de analiză a textului. Vei vedea cum se creează un corpus de text, cum se extinde o reprezentare bag-of-words într-o matrice TFIDF și cum se folosesc metrici de similaritate cosinus pentru a determina cât de asemănătoare sunt două texte. Îți consolidezi astfel bazele pentru practicarea NLP, înainte de a trece la aplicații în capitolele 3 și 4.

Exercise 1: Înțelegerea unui corpus în R Exercise 2: Explorează un corpus în R Exercise 3: Crearea unui tibble dintr-un corpus Exercise 4: Crearea unui corpus Exercise 5: Reprezentarea bag-of-words Exercise 6: Exersează BoW Exercise 7: Exemplu BoW Exercise 8: Matrice rare Exercise 9: TFIDF-ul Exercise 10: Calcule manuale Exercise 11: Practică TFIDF Exercise 12: Similaritate cosinus Exercise 13: Un exemplu de eșec în analiza textului Exercise 14: Exemplu de similaritate cosinus

Capitolul 3 se concentrează pe două abordări frecvente în analiza textului: modelarea pentru clasificare și modelarea tematică. Dacă lucrezi la proiecte de analiză a textului, vei folosi cu siguranță una sau ambele metode. Acest capitol te învață cum să aplici ambele tehnici și îți oferă perspective practice despre cum să le abordezi eficient.

Exercise 1: Pregătirea textului pentru modelare Exercise 2: Pregătirea datelor Exercise 3: Eliminarea termenilor rari

Exercițiul curent

Exercise 4: Modelare pentru clasificare Exercise 5: Exemplu de modelare a clasificării Exercise 6: Matrici de confuzie Exercise 7: Tibble TFIDF vs dtm Exercise 8: Introducere în topic modeling Exercise 9: Practică LDA Exercise 10: Atribuirea topicurilor documentelor Exercise 11: LDA în practică Exercise 12: Testarea perplexității Exercise 13: Analizarea rezultatelor LDA

În capitolul 4 acoperim două tehnici de bază din prelucrarea limbajului natural: analiza sentimentelor și reprezentările vectoriale ale cuvintelor (word embeddings). Acestea sunt tehnici esențiale pentru oricine învață fundamentele analizei textului. În plus, vei face o scurtă incursiune în BERT, etichetarea morfosintactică și recunoașterea entităților denumite. Deoarece în acest curs sunt acoperite aproape 15 tehnici de analiză diferite, capitolul 4 se încheie cu o recapitulare a tuturor metodelor pe care le-ai învățat.

Exercise 1: Analiza sentimentelor Exercise 2: Lexicoane tidytext Exercise 3: Scoruri de sentiment Exercise 4: Sentiment și emoție Exercise 5: Încorporări de cuvinte (word embeddings)Exercise 6: Practică cu h2o Exercise 7: word2vec Exercise 8: Analize NLP suplimentare Exercise 9: Recapitularea metodelor #1 Exercise 10: Recapitularea metodelor #2 Exercise 11: Concluzie