การประมวลผลข้อความเบื้องต้น
การสร้างระบบแนะนำหรือโมเดลใดก็ตาม จำเป็นต้องประมวลผลข้อความก่อนเสมอ
โหลดข้อความจาก Sherlock Holmes มาให้แล้ว ให้ประมวลผลข้อความนี้ด้วยเทคนิคต่าง ๆ ที่นำเสนอในวิดีโอ เพื่อเตรียมข้อมูลสำหรับการวิเคราะห์ขั้นต่อไป
ตัวแปร text คือข้อความตัดตอนมาจาก The Hound of the Baskervilles โดย Arthur Conan Doyle
แพ็กเกจและฟังก์ชันต่อไปนี้ถูกโหลดไว้ให้แล้ว:
nltk, torch, get_tokenizer, PorterStemmer, stopwords
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning สำหรับข้อความด้วย PyTorch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)