文字前處理:詞幹提取(Stemming)
在文字分析中,詞的「詞幹」往往比詞尾更重要。以《Animal Farm》為例,主題顯然與動物有關。但若只知道書中出現了 animal's 248 次、animal 107 次,對分析未必有幫助。
tidy_animal_farm 是從《Animal Farm》擷取並斷詞後的 tibble,且已移除停用詞。下一步是對這些詞做詞幹提取,然後觀察結果。
本練習屬於課程
R 的自然語言處理入門
練習說明
- 使用
dplyr與SnowballC對tidy_animal_farm裡的詞做詞幹提取。 - 列印
tidy_animal_farm的原始詞頻。 - 列印
stemmed_animal_farm的新詞頻。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
___(word = ___(___))
# Print the old word frequencies
___ %>%
___(word, sort = ___)
# Print the new word frequencies
___ %>%
___(word, sort = ___)