Loại bỏ stop words và khoảng trắng thừa

Một kho văn bản (corpus) thường chứa nhiều từ phổ biến như "a", "an", "the", "of" và "but". Trong xử lý ngôn ngữ tự nhiên, đây được gọi là stop words.

Stop words thường được loại bỏ trong quá trình xử lý văn bản để bạn có thể tập trung vào các từ quan trọng hơn trong corpus nhằm rút ra hiểu biết.

Ngoài ra, các khoảng trắng thừa sinh ra khi loại bỏ ký tự đặc biệt, dấu câu, chữ số và stop words cũng cần được xóa khỏi corpus.