Tiền xử lý văn bản
Xây dựng hệ thống gợi ý, hay bất kỳ mô hình nào, đều cần tiền xử lý văn bản trước.
Một đoạn văn từ Sherlock Holmes đã được nạp sẵn. Hãy tiền xử lý đoạn này bằng các kỹ thuật bạn đã xem trong video để chuẩn bị cho bước phân tích tiếp theo.
Biến text là trích đoạn từ The Hound of the Baskervilles của Arthur Conan Doyle.
Các gói và hàm sau đã được nạp sẵn cho bạn:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
Bài tập này là một phần của khóa học
Deep Learning cho Văn bản với PyTorch
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)