การลบเครื่องหมายวรรคตอน
หลังจากลบ stop words ออกจากข้อความ feedback แล้ว ขั้นตอนต่อไปคือการจัดการกับเครื่องหมายวรรคตอน token ที่ได้จากแบบฝึกหัดก่อนหน้ายังคงมีเครื่องหมายวรรคตอนปะปนอยู่ ซึ่งมักไม่จำเป็นเมื่อต้องการจัดหมวดหมู่ feedback
ให้ลบเครื่องหมายวรรคตอนออกจากรายการ token ที่มีอยู่ เพื่อทำความสะอาดข้อมูลให้เรียบร้อยยิ่งขึ้น
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การประมวลผลภาษาธรรมชาติ (NLP) ด้วย Python
คำแนะนำการฝึกหัด
- ทำความสะอาดรายการ
filtered_tokensโดยลบเครื่องหมายวรรคตอนทั้งหมดออก
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
import string
filtered_tokens = ['reached', 'support', 'got', 'helpful', 'response', 'within', 'minutes', '!', '!', '!', '#', 'impressed']
# Remove punctuation
clean_tokens = [____ for word in filtered_tokens if ____ not in ____.____]
print(clean_tokens)