斷詞(Tokenization):句子
Animal Farm 是國中英文老師常指定給學生閱讀的一本書。你打算先對全文做一些探索,並整理出摘要統計,方便老師在指定這本書時使用。你已經知道全書共有 10 章,不過你也知道可以用斷詞(tokenization)來計算句數、字數,甚至段落數。在這個練習中,你會運用影片中學到的斷詞技巧,把 Animal Farm 切分成句子,並依章節統計句子的數量。
本練習屬於課程
R 的自然語言處理入門
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Split the text_column into sentences
animal_farm %>%
___(output = "sentences", input = text_column, token = ___)