文字前處理:移除停用詞(stop words)
停用詞在寫作中無可避免。然而,當你要判斷兩段文字的相似度,或嘗試找出文字中的主題時,停用詞常會造成干擾。在小說 Animal Farm 的第一章中,全文只有 2,636 個字,卻有將近 200 次出現的是「the」。
通常,「the」對文字分析幫助不大。這個練習中,你將把 Animal Farm 第一章裡的停用詞移除。
本練習屬於課程
R 的自然語言處理入門
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)