Tokenize สตริงจาก GoT
ขั้นตอนพื้นฐานแรกในการทำงานกับข้อความคือการ tokenize หรือพูดง่าย ๆ คือการแยกสตริงขนาดใหญ่ออกเป็นสตริงย่อย ๆ ซึ่งโดยทั่วไปจะเป็นคำเดี่ยว (token)
สตริง GoT ถูกสร้างไว้ให้แล้ว และมีข้อความอ้างอิงจากนิยาย Game of Thrones ของ George R.R. Martin ให้แยกสตริงนี้ออกเป็น token ย่อย ๆ
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Sentiment Analysis ด้วย Python
คำแนะนำการฝึกหัด
- Import ฟังก์ชัน tokenize คำจาก
nltk - แปลงสตริง
GoTให้เป็น token คำ
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))