Funktioner i tidytext

Vilken funktion används för att dela upp text i tokens när man använder tidytext?

Den här övningen är en del av kursen

Introduktion till naturlig språkbehandling i R

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Introduktion till naturlig språkbehandling i R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Starta kursen gratis

Kapitel 1 i Introduktion till naturlig språkbehandling förbereder dig för att köra din första analys på text. Du utforskar reguljära uttryck och tokenisering – två av de vanligaste komponenterna i de flesta analysuppgifter. Med reguljära uttryck kan du söka efter vilket mönster som helst, och med tokenisering kan du förbereda och rensa text inför mer avancerad analys. Det här kapitlet är en nödvändig grund för de tekniker vi går igenom i kursens återstående kapitel.

Exercise 1: Grunderna i reguljära uttryck Exercise 2: Öva på syntax med grep Exercise 3: Utforska funktioner för reguljära uttryck.Exercise 4: Tokenisering Exercise 5: Funktioner i tidytext

Aktuell övning

Exercise 6: Tokenisering: meningar Exercise 7: Grundläggande textrensning Exercise 8: Textförbehandling: ta bort stoppord Exercise 9: Textförbehandling: Stemming

I det här kapitlet lär du dig de vanligaste och mest studerade metoderna för att analysera text. Du tittar på hur man skapar ett textkorpus, bygger ut en bag-of-words-representation till en TFIDF-matris och använder cosinuslikhetsmetrik för att avgöra hur lika två texter är varandra. Du bygger vidare på dina grunder i NLP innan du dyker in i tillämpningar i kapitel 3 och 4.

Exercise 1: Förstå ett R-korpus Exercise 2: Utforska ett R-korpus Exercise 3: Skapa en tibble från ett korpus Exercise 4: Skapa ett korpus Exercise 5: Bag-of-words-representationen Exercise 6: Öva på BoW Exercise 7: BoW-exempel Exercise 8: Glesa matriser Exercise 9: TFIDF-matrisen Exercise 10: Manuella beräkningar Exercise 11: TFIDF i praktiken Exercise 12: Cosinuslikhet Exercise 13: Ett exempel på misslyckad textanalys Exercise 14: Exempel på cosinuslikhet

Kapitel 3 fokuserar på två vanliga metoder för textanalys: klassificeringsmodellering och ämnesmodellering. Om du arbetar med textanalysprojekt kommer du förr eller senare att använda en eller båda av dessa metoder. Det här kapitlet lär dig hur du genomför båda teknikerna och ger insikt i hur du kan angripa dem på ett praktiskt sätt.

Exercise 1: Förbereda text för modellering Exercise 2: Dataförberedelse Exercise 3: Ta bort glesa termer Exercise 4: Klassificeringsmodellering Exercise 5: Exempel på klassificeringsmodellering Exercise 6: Konfusionsmatriser Exercise 7: TFIDF-tibble vs. dtm Exercise 8: Introduktion till ämnesmodellering Exercise 9: LDA-övning Exercise 10: Tilldela ämnen till dokument Exercise 11: LDA i praktiken Exercise 12: Testa perplexitet Exercise 13: Granska LDA-resultat

I kapitel 4 tar vi upp två grundpelare inom naturlig språkbehandling: sentimentanalys och ordembeddingar. Det här är två analystekniker som är oumbärliga för alla som lär sig grunderna i textanalys. Du får även en kort introduktion till BERT, ordklasstaggning och namngiven enhetsigenkänning. Kursen täcker sammanlagt nästan 15 olika analystekniker, och kapitel 4 avslutas med en sammanfattning av alla de tekniker du har lärt dig under kursens gång.

Exercise 1: Sentimentanalys Exercise 2: tidytext-lexikon Exercise 3: Sentimentpoäng Exercise 4: Sentiment och känslor Exercise 5: Ordinbäddningar Exercise 6: Öva med h2o Exercise 7: word2vec Exercise 8: Ytterligare NLP-analys Exercise 9: Repetition av metoder #1 Exercise 10: Repetition av metoder #2 Exercise 11: Avslutning