Tiền xử lý văn bản: Stemming
Gốc từ thường quan trọng hơn đuôi từ, đặc biệt trong phân tích văn bản. Cuốn Animal Farm rõ ràng nói về động vật. Tuy nhiên, biết rằng sách nhắc đến animal's 248 lần và animal 107 lần có thể không hữu ích cho phân tích của bạn.
tidy_animal_farm chứa một tibble các từ trong Animal Farm, đã được tách token và loại bỏ stop word. Bước tiếp theo là thực hiện stemming cho các từ và khám phá kết quả.
Bài tập này là một phần của khóa học
Nhập môn Xử lý Ngôn ngữ Tự nhiên với R
Hướng dẫn bài tập
- Dùng
dplyrvàSnowballCđể stemming các từ từtidy_animal_farm. - In tần suất các từ ban đầu từ
tidy_animal_farm. - In tần suất các từ mới từ
stemmed_animal_farm.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Perform stemming on tidy_animal_farm
stemmed_animal_farm <- tidy_animal_farm %>%
___(word = ___(___))
# Print the old word frequencies
___ %>%
___(word, sort = ___)
# Print the new word frequencies
___ %>%
___(word, sort = ___)