Recapitularea metodelor #1

Analiza textului include o multitudine de metode, modele și tehnici care pot fi folosite pentru a înțelege mai bine textul. În acest exercițiu, vei recapitula câteva dintre aceste metode.

a: Atribuie fiecărui cuvânt din text o etichetă: substantiv, verb, adjectiv sau altă categorie.
b: Un model pre-antrenat pe o cantitate vastă de date text, care creează o reprezentare lingvistică folosită pentru învățarea supervizată.
c: Un tip de analiză care urmărește să descrie textul ca pozitiv sau negativ și poate fi folosit pentru a identifica termeni activi față de cei pasivi.
d: O tehnică de modelare folosită pentru a clasifica un text întreg într-o singură categorie, cum ar fi relevant sau irelevant.

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

Instrucțiuni pentru exercițiu

Folosind cele 4 descrieri de mai sus, asociază fiecare model sau metodă cu litera corespunzătoare.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Sentiment Analysis
SA <- ___

# Classification Modeling
CM <- ___

# BERT
BERT <- ___

# Part-of-speech Tagging
POS <- ___

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Capitolul 1 al cursului Introducere în Prelucrarea Limbajului Natural te pregătește să rulezi prima ta analiză pe text. Vei explora expresiile regulate și tokenizarea – două dintre cele mai frecvente componente ale majorității sarcinilor de analiză. Cu expresii regulate poți căuta orice tipar îți imaginezi, iar cu tokenizarea poți pregăti și curăța textul pentru analize mai sofisticate. Acest capitol este esențial pentru a aborda tehnicile pe care le vei învăța în capitolele următoare.

Exercise 1: Bazele expresiilor regulate Exercise 2: Exersarea sintaxei cu grep Exercise 3: Explorarea funcțiilor pentru expresii regulate.Exercise 4: Tokenizare Exercise 5: Funcțiile din tidytext Exercise 6: Tokenizare: propoziții Exercise 7: Noțiuni de bază despre curățarea textului Exercise 8: Preprocesarea textului: eliminarea cuvintelor de oprire Exercise 9: Preprocesarea textului: Stemming

În acest capitol, vei învăța cele mai comune și studiate metode de analiză a textului. Vei vedea cum se creează un corpus de text, cum se extinde o reprezentare bag-of-words într-o matrice TFIDF și cum se folosesc metrici de similaritate cosinus pentru a determina cât de asemănătoare sunt două texte. Îți consolidezi astfel bazele pentru practicarea NLP, înainte de a trece la aplicații în capitolele 3 și 4.

Exercise 1: Înțelegerea unui corpus în R Exercise 2: Explorează un corpus în R Exercise 3: Crearea unui tibble dintr-un corpus Exercise 4: Crearea unui corpus Exercise 5: Reprezentarea bag-of-words Exercise 6: Exersează BoW Exercise 7: Exemplu BoW Exercise 8: Matrice rare Exercise 9: TFIDF-ul Exercise 10: Calcule manuale Exercise 11: Practică TFIDF Exercise 12: Similaritate cosinus Exercise 13: Un exemplu de eșec în analiza textului Exercise 14: Exemplu de similaritate cosinus

Capitolul 3 se concentrează pe două abordări frecvente în analiza textului: modelarea pentru clasificare și modelarea tematică. Dacă lucrezi la proiecte de analiză a textului, vei folosi cu siguranță una sau ambele metode. Acest capitol te învață cum să aplici ambele tehnici și îți oferă perspective practice despre cum să le abordezi eficient.

Exercise 1: Pregătirea textului pentru modelare Exercise 2: Pregătirea datelor Exercise 3: Eliminarea termenilor rari Exercise 4: Modelare pentru clasificare Exercise 5: Exemplu de modelare a clasificării Exercise 6: Matrici de confuzie Exercise 7: Tibble TFIDF vs dtm Exercise 8: Introducere în topic modeling Exercise 9: Practică LDA Exercise 10: Atribuirea topicurilor documentelor Exercise 11: LDA în practică Exercise 12: Testarea perplexității Exercise 13: Analizarea rezultatelor LDA

În capitolul 4 acoperim două tehnici de bază din prelucrarea limbajului natural: analiza sentimentelor și reprezentările vectoriale ale cuvintelor (word embeddings). Acestea sunt tehnici esențiale pentru oricine învață fundamentele analizei textului. În plus, vei face o scurtă incursiune în BERT, etichetarea morfosintactică și recunoașterea entităților denumite. Deoarece în acest curs sunt acoperite aproape 15 tehnici de analiză diferite, capitolul 4 se încheie cu o recapitulare a tuturor metodelor pe care le-ai învățat.

Exercise 1: Analiza sentimentelor Exercise 2: Lexicoane tidytext Exercise 3: Scoruri de sentiment Exercise 4: Sentiment și emoție Exercise 5: Încorporări de cuvinte (word embeddings)Exercise 6: Practică cu h2o Exercise 7: word2vec Exercise 8: Analize NLP suplimentare Exercise 9: Recapitularea metodelor #1

Exercițiul curent

Exercise 10: Recapitularea metodelor #2 Exercise 11: Concluzie