開始使用免費開始

文字前處理:詞幹提取(Stemming)

在文字分析中,詞的「詞幹」往往比詞尾更重要。以《Animal Farm》為例,主題顯然與動物有關。但若只知道書中出現了 animal's 248 次、animal 107 次,對分析未必有幫助。

tidy_animal_farm 是從《Animal Farm》擷取並斷詞後的 tibble,且已移除停用詞。下一步是對這些詞做詞幹提取,然後觀察結果。

本練習屬於課程

R 的自然語言處理入門

檢視課程

練習說明

  • 使用 dplyrSnowballCtidy_animal_farm 裡的詞做詞幹提取。
  • 列印 tidy_animal_farm 的原始詞頻。
  • 列印 stemmed_animal_farm 的新詞頻。

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
  ___(word = ___(___))

# Print the old word frequencies 
___ %>%
  ___(word, sort = ___)

# Print the new word frequencies
___ %>%
  ___(word, sort = ___)
編輯並執行程式碼