Tiền xử lý văn bản: loại bỏ stop words
Stop words xuất hiện ở khắp nơi trong văn bản. Tuy nhiên, khi bạn muốn đo mức độ giống nhau giữa hai đoạn văn bản hoặc cố gắng tìm chủ đề trong văn bản, stop words có thể gây nhiễu. Trong cuốn Animal Farm, chương đầu chỉ có 2.636 từ, nhưng gần 200 trong số đó là từ "the".
Thông thường, "the" không giúp ích cho các dự án phân tích văn bản. Trong bài tập này, bạn sẽ loại bỏ stop words khỏi chương đầu tiên của Animal Farm.
Bài tập này là một phần của khóa học
Nhập môn Xử lý Ngôn ngữ Tự nhiên với R
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Tokenize animal farm's text_column column
tidy_animal_farm <- animal_farm %>%
___(word, ___)