การแทนค่าด้วย TF-IDF สำหรับ feedback ของผลิตภัณฑ์
คุณกำลังทำงานร่วมกับทีม customer support ของบริษัท smart home แห่งหนึ่ง ทีมงานได้รวบรวม feedback จากผู้ใช้เกี่ยวกับอุปกรณ์ smart home หลากหลายรุ่น และต้องการระบุว่าคำไหนโดดเด่นในแต่ละ review คุณแนะนำให้ใช้เทคนิค TF-IDF เพื่อช่วยเน้นคำที่มีความเกี่ยวข้องมากที่สุดในแต่ละ feedback มาช่วยให้พวกเขาเริ่มต้นได้เลย!
ฟังก์ชัน preprocess() ที่รับข้อความและคืนค่าข้อความที่ผ่านการประมวลผลแล้วถูกโหลดไว้ให้แล้ว ฟังก์ชันนี้ทำการแปลงเป็นตัวพิมพ์เล็ก tokenization และลบเครื่องหมายวรรคตอน นอกจากนี้ยังมีการ import Pandas เป็น pd และคลาส TfidfVectorizer พร้อมใช้งานแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การประมวลผลภาษาธรรมชาติ (NLP) ด้วย Python
คำแนะนำการฝึกหัด
- สร้าง TF-IDF
vectorizer - แปลง cleaned reviews ให้เป็น
tfidf_matrix - สร้าง DataFrame ชื่อ
dfสำหรับtfidf_matrixโดยใช้คำศัพท์ใน vocabulary เป็นคอลัมน์
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
reviews = ["The smart speaker is incredible. Clear sound and fast responses!",
"I am disappointed with the smart bulb. It stopped working in a week.",
"The thermostat is okay. Not too smart, but functional."]
cleaned_reviews = [preprocess(review) for review in reviews]
# Initialize the vectorizer
vectorizer = ____
# Transform the cleaned reviews
tfidf_matrix = ____
# Create a DataFrame for TF-IDF
df = pd.DataFrame(
tfidf_matrix.toarray(),
columns=vectorizer.____
)
print(df.head())