Voorbeeld van cosinusovereenkomst

De verhaallijn van Animal Farm is vrij eenvoudig. Aan het begin zijn de dieren ontevreden over het volgen van hun menselijke leiders. Halverwege werpen ze die leiders omver, en aan het eind raken ze ontevreden over de dieren die uiteindelijk hun nieuwe leiders zijn geworden.

Als je het goed aanpakt, kan cosinusovereenkomst helpen om documenten (hoofdstukken) te vinden die op elkaar lijken. In deze oefening ga je vergelijkbare hoofdstukken in Animal Farm identificeren. De kans is groot dat hoofdstuk 1 (het begin) en hoofdstuk 10 (het einde) op elkaar zullen lijken.

Deze oefening maakt deel uit van de cursus

Introductie tot Natural Language Processing in R

Bekijk cursus

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Create word counts 
animal_farm_counts <- animal_farm %>%
  unnest_tokens(word, text_column) %>%
  ___(___) %>%
  count(chapter, word)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot Natural Language Processing in R

SkillTag.level.intermediateSkillTag.label

4.8+

40 reviews

Begin gratis met de cursus

Hoofdstuk 1 van Introductie tot Natural Language Processing bereidt je voor op je eerste tekstanalyse. Je verkent reguliere expressies en tokenization, twee van de meest gebruikte bouwstenen van veel analysetaken. Met reguliere expressies kun je zoeken naar elk patroon dat je maar kunt bedenken, en met tokenization maak en schoon je tekst voor meer geavanceerde analyses. Dit hoofdstuk is onmisbaar om de technieken aan te pakken die we in de overige hoofdstukken van deze cursus leren.

Exercise 1: Basis van reguliere expressies Exercise 2: Oefenen met grep-syntaxis Exercise 3: Reguliere-expressiefuncties verkennen.Exercise 4: Tokenisatie Exercise 5: tidytext-functies Exercise 6: Tokenization: zinnen Exercise 7: De basis van tekst opschonen Exercise 8: Tekstvoorbewerking: stopwoorden verwijderen Exercise 9: Voorbewerking van tekst: stemming

In dit hoofdstuk leer je de meest gangbare en onderzochte manieren om tekst te analyseren. Je bekijkt hoe je een tekstcorpus maakt, hoe je een bag-of-words-weergave uitbreidt naar een TFIDF-matrix, en je gebruikt cosine-similarity-metingen om te bepalen hoe sterk twee teksten op elkaar lijken. Je bouwt voort op je basis voor het toepassen van NLP voordat je in de toepassingen van NLP in hoofdstukken 3 en 4 duikt.

Exercise 1: Een R-corpus begrijpen Exercise 2: Verken een R-corpus Exercise 3: Een tibble maken van een corpus Exercise 4: Een corpus maken Exercise 5: De bag-of-words-representatie Exercise 6: Oefenen met BoW Exercise 7: BoW-voorbeeld Exercise 8: Sparse matrices Exercise 9: De TFIDF Exercise 10: Handmatige berekeningen Exercise 11: Oefenen met TFIDF Exercise 12: Cosinus-overeenkomst Exercise 13: Een voorbeeld van mislukte tekstanalyse Exercise 14: Voorbeeld van cosinusovereenkomst

Huidige oefening

Hoofdstuk 3 richt zich op twee veelgebruikte benaderingen voor tekstanalyse: classificatiemodellen en topic modeling. Als je met tekstanalyseprojecten bezig bent, zul je onvermijdelijk een of beide methoden gebruiken. In dit hoofdstuk leer je beide technieken uitvoeren en krijg je inzicht in hoe je deze technieken in de praktijk het beste kunt aanpakken.

Exercise 1: Tekst voorbereiden voor modelleren Exercise 2: Gegevens voorbereiden Exercise 3: Schaarse termen verwijderen Exercise 4: Classificatiemodellering Exercise 5: Voorbeeld van classificatiemodel Exercise 6: Confusion matrices Exercise 7: TFIDF-tibble vs dtm Exercise 8: Introductie tot topic modeling Exercise 9: Oefenen met LDA Exercise 10: Onderwerpen toekennen aan documenten Exercise 11: LDA in de praktijk Exercise 12: Perplexity testen Exercise 13: LDA-resultaten beoordelen

In hoofdstuk 4 behandelen we twee klassiekers binnen natural language processing: sentimentanalyse en word embeddings. Dit zijn twee analysetechnieken die onmisbaar zijn voor iedereen die de basis van tekstanalyse wil beheersen. Daarnaast maak je kort kennis met BERT, part-of-speech tagging en named entity recognition. In deze cursus kwamen bijna 15 verschillende analysetechnieken voorbij, dus hoofdstuk 4 sluit af met een overzicht van alle mooie technieken die je in deze cursus leert.

Exercise 1: Sentimentanalyse Exercise 2: tidytext-lexicons Exercise 3: Sentimentscores Exercise 4: Sentiment en emotie Exercise 5: Woordembeddings Exercise 6: oefenen met h2o Exercise 7: word2vec Exercise 8: Aanvullende NLP-analyses Exercise 9: Methoden herzien #1 Exercise 10: Methoden herhalen #2 Exercise 11: Conclusie