Tokenizare: propoziții

Animal Farm este o carte populară pe care profesorii de engleză o recomandă elevilor de gimnaziu. Ai decis să explorezi textul și să furnizezi statistici sumare pe care profesorii să le folosească atunci când o introduc în programa școlară. Știi deja că există 10 capitole, dar știi și că poți folosi tokenizarea pentru a număra propozițiile, cuvintele și chiar paragrafele. În acest exercițiu, vei utiliza tehnicile de tokenizare învățate în videoclip pentru a împărți Animal Farm în propoziții și a le număra pe capitole.

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Split the text_column into sentences
animal_farm %>%
  ___(output = "sentences", input = text_column, token = ___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Prelucrarea Limbajului Natural în R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Începe cursul gratuit

Capitolul 1 al cursului Introducere în Prelucrarea Limbajului Natural te pregătește să rulezi prima ta analiză pe text. Vei explora expresiile regulate și tokenizarea – două dintre cele mai frecvente componente ale majorității sarcinilor de analiză. Cu expresii regulate poți căuta orice tipar îți imaginezi, iar cu tokenizarea poți pregăti și curăța textul pentru analize mai sofisticate. Acest capitol este esențial pentru a aborda tehnicile pe care le vei învăța în capitolele următoare.

Exercise 1: Bazele expresiilor regulate Exercise 2: Exersarea sintaxei cu grep Exercise 3: Explorarea funcțiilor pentru expresii regulate.Exercise 4: Tokenizare Exercise 5: Funcțiile din tidytext Exercise 6: Tokenizare: propoziții

Exercițiul curent

Exercise 7: Noțiuni de bază despre curățarea textului Exercise 8: Preprocesarea textului: eliminarea cuvintelor de oprire Exercise 9: Preprocesarea textului: Stemming

În acest capitol, vei învăța cele mai comune și studiate metode de analiză a textului. Vei vedea cum se creează un corpus de text, cum se extinde o reprezentare bag-of-words într-o matrice TFIDF și cum se folosesc metrici de similaritate cosinus pentru a determina cât de asemănătoare sunt două texte. Îți consolidezi astfel bazele pentru practicarea NLP, înainte de a trece la aplicații în capitolele 3 și 4.

Exercise 1: Înțelegerea unui corpus în R Exercise 2: Explorează un corpus în R Exercise 3: Crearea unui tibble dintr-un corpus Exercise 4: Crearea unui corpus Exercise 5: Reprezentarea bag-of-words Exercise 6: Exersează BoW Exercise 7: Exemplu BoW Exercise 8: Matrice rare Exercise 9: TFIDF-ul Exercise 10: Calcule manuale Exercise 11: Practică TFIDF Exercise 12: Similaritate cosinus Exercise 13: Un exemplu de eșec în analiza textului Exercise 14: Exemplu de similaritate cosinus

Capitolul 3 se concentrează pe două abordări frecvente în analiza textului: modelarea pentru clasificare și modelarea tematică. Dacă lucrezi la proiecte de analiză a textului, vei folosi cu siguranță una sau ambele metode. Acest capitol te învață cum să aplici ambele tehnici și îți oferă perspective practice despre cum să le abordezi eficient.

Exercise 1: Pregătirea textului pentru modelare Exercise 2: Pregătirea datelor Exercise 3: Eliminarea termenilor rari Exercise 4: Modelare pentru clasificare Exercise 5: Exemplu de modelare a clasificării Exercise 6: Matrici de confuzie Exercise 7: Tibble TFIDF vs dtm Exercise 8: Introducere în topic modeling Exercise 9: Practică LDA Exercise 10: Atribuirea topicurilor documentelor Exercise 11: LDA în practică Exercise 12: Testarea perplexității Exercise 13: Analizarea rezultatelor LDA

În capitolul 4 acoperim două tehnici de bază din prelucrarea limbajului natural: analiza sentimentelor și reprezentările vectoriale ale cuvintelor (word embeddings). Acestea sunt tehnici esențiale pentru oricine învață fundamentele analizei textului. În plus, vei face o scurtă incursiune în BERT, etichetarea morfosintactică și recunoașterea entităților denumite. Deoarece în acest curs sunt acoperite aproape 15 tehnici de analiză diferite, capitolul 4 se încheie cu o recapitulare a tuturor metodelor pe care le-ai învățat.

Exercise 1: Analiza sentimentelor Exercise 2: Lexicoane tidytext Exercise 3: Scoruri de sentiment Exercise 4: Sentiment și emoție Exercise 5: Încorporări de cuvinte (word embeddings)Exercise 6: Practică cu h2o Exercise 7: word2vec Exercise 8: Analize NLP suplimentare Exercise 9: Recapitularea metodelor #1 Exercise 10: Recapitularea metodelor #2 Exercise 11: Concluzie