การแปลงข้อความเป็น Token
ในแบบฝึกหัดนี้ คุณจะใช้ชุดข้อมูล flickr ซึ่งมีภาพ 30,000 รูปพร้อมคำบรรยายประกอบ เพื่อทำการประมวลผลข้อความเบื้องต้น ขั้นตอนนี้จำเป็นสำหรับการนำข้อมูลไปใช้กับโมเดลในงานต่าง ๆ เช่น การจำแนกประเภทข้อความ และมีประโยชน์อย่างยิ่งในแอปพลิเคชันแบบหลายโมดัล ซึ่งโมเดลจาก Hugging Face สามารถตรวจสอบความเหมาะสมของคำบรรยายกับภาพที่เกี่ยวข้องได้
ชุดข้อมูล (dataset) ถูกโหลดไว้แล้ว และได้นำเข้า AutoTokenizer เรียบร้อยแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
โมเดล Multi-Modal ด้วย Hugging Face
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Load the first caption from the image at index 5
text = dataset[5]["____"][0]
print(text)