Začněte nyníZačněte zdarma

Předzpracování textu: Stemming

Kořeny slov jsou v textové analýze často důležitější než jejich koncovky. Kniha Farma zvířat je zjevně o zvířatech – ale vědět, že se v ní slovo animal's vyskytuje 248krát a slovo animal 107krát, může být pro analýzu matoucí spíš než užitečné.

tidy_animal_farm obsahuje tibble se slovy z knihy Farma zvířat – tokenizovanými a bez stop slov. Dalším krokem je provést stemming těchto slov a prozkoumat výsledky.

Toto cvičení je součástí kurzu

Úvod do zpracování přirozeného jazyka v R

Zobrazit kurz

Pokyny k cvičení

  • Pomocí dplyr a SnowballC proveď stemming slov z tidy_animal_farm.
  • Vypiš původní frekvence slov z tidy_animal_farm.
  • Vypiš nové frekvence slov z stemmed_animal_farm.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
  ___(word = ___(___))

# Print the old word frequencies 
___ %>%
  ___(word, sort = ___)

# Print the new word frequencies
___ %>%
  ___(word, sort = ___)
Upravit a spustit kód