Tibble TFIDF vs dtm

TFIDF poate fi folosit pentru similaritatea documentelor, clasificarea textului și alte sarcini. Analizează tibble-ul left_right_tfidf și matricea document-termen left_right_matrix. Ambele au fost încărcate în consolă.

Care dintre afirmațiile de mai jos este adevărată?

A: Tibble-ul conține câte un rând pentru fiecare document și câte o coloană pentru fiecare cuvânt din toate textele.
B: Tibble-ul conține numărul de apariții ale cuvintelor, precum și ponderile tf, idf și tfidf pentru fiecare cuvânt din fiecare document.
C: Tibble-ul și matricea au același număr de rânduri.
D: Coloanele matricei document-termen pot fi folosite în modelele de clasificare.

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Începe cursul gratuit

Capitolul 1 al cursului Introducere în Prelucrarea Limbajului Natural te pregătește să rulezi prima ta analiză pe text. Vei explora expresiile regulate și tokenizarea – două dintre cele mai frecvente componente ale majorității sarcinilor de analiză. Cu expresii regulate poți căuta orice tipar îți imaginezi, iar cu tokenizarea poți pregăti și curăța textul pentru analize mai sofisticate. Acest capitol este esențial pentru a aborda tehnicile pe care le vei învăța în capitolele următoare.

Exercise 1: Bazele expresiilor regulate Exercise 2: Exersarea sintaxei cu grep Exercise 3: Explorarea funcțiilor pentru expresii regulate.Exercise 4: Tokenizare Exercise 5: Funcțiile din tidytext Exercise 6: Tokenizare: propoziții Exercise 7: Noțiuni de bază despre curățarea textului Exercise 8: Preprocesarea textului: eliminarea cuvintelor de oprire Exercise 9: Preprocesarea textului: Stemming

În acest capitol, vei învăța cele mai comune și studiate metode de analiză a textului. Vei vedea cum se creează un corpus de text, cum se extinde o reprezentare bag-of-words într-o matrice TFIDF și cum se folosesc metrici de similaritate cosinus pentru a determina cât de asemănătoare sunt două texte. Îți consolidezi astfel bazele pentru practicarea NLP, înainte de a trece la aplicații în capitolele 3 și 4.

Exercise 1: Înțelegerea unui corpus în R Exercise 2: Explorează un corpus în R Exercise 3: Crearea unui tibble dintr-un corpus Exercise 4: Crearea unui corpus Exercise 5: Reprezentarea bag-of-words Exercise 6: Exersează BoW Exercise 7: Exemplu BoW Exercise 8: Matrice rare Exercise 9: TFIDF-ul Exercise 10: Calcule manuale Exercise 11: Practică TFIDF Exercise 12: Similaritate cosinus Exercise 13: Un exemplu de eșec în analiza textului Exercise 14: Exemplu de similaritate cosinus

Capitolul 3 se concentrează pe două abordări frecvente în analiza textului: modelarea pentru clasificare și modelarea tematică. Dacă lucrezi la proiecte de analiză a textului, vei folosi cu siguranță una sau ambele metode. Acest capitol te învață cum să aplici ambele tehnici și îți oferă perspective practice despre cum să le abordezi eficient.

Exercise 1: Pregătirea textului pentru modelare Exercise 2: Pregătirea datelor Exercise 3: Eliminarea termenilor rari Exercise 4: Modelare pentru clasificare Exercise 5: Exemplu de modelare a clasificării Exercise 6: Matrici de confuzie Exercise 7: Tibble TFIDF vs dtm

Exercițiul curent

Exercise 8: Introducere în topic modeling Exercise 9: Practică LDA Exercise 10: Atribuirea topicurilor documentelor Exercise 11: LDA în practică Exercise 12: Testarea perplexității Exercise 13: Analizarea rezultatelor LDA

În capitolul 4 acoperim două tehnici de bază din prelucrarea limbajului natural: analiza sentimentelor și reprezentările vectoriale ale cuvintelor (word embeddings). Acestea sunt tehnici esențiale pentru oricine învață fundamentele analizei textului. În plus, vei face o scurtă incursiune în BERT, etichetarea morfosintactică și recunoașterea entităților denumite. Deoarece în acest curs sunt acoperite aproape 15 tehnici de analiză diferite, capitolul 4 se încheie cu o recapitulare a tuturor metodelor pe care le-ai învățat.

Exercise 1: Analiza sentimentelor Exercise 2: Lexicoane tidytext Exercise 3: Scoruri de sentiment Exercise 4: Sentiment și emoție Exercise 5: Încorporări de cuvinte (word embeddings)Exercise 6: Practică cu h2o Exercise 7: word2vec Exercise 8: Analize NLP suplimentare Exercise 9: Recapitularea metodelor #1 Exercise 10: Recapitularea metodelor #2 Exercise 11: Concluzie