1. Learn
    2. /
  2. คอร์ส
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

แบบฝึกหัด

Tokenize ชุดข้อมูลข้อความ

คุณกำลังทำวิจัยตลาดให้กับเว็บไซต์ท่องเที่ยว และต้องการใช้ชุดข้อมูลที่มีอยู่เพื่อ fine-tune โมเดลสำหรับจำแนกรีวิวโรงแรม โดยเลือกใช้ไลบรารี datasets

คลาส AutoTokenizer ถูก import มาจาก transformers แล้ว และ load_dataset() ถูก import มาจาก datasets แล้วเช่นกัน

คำแนะนำ

100 XP
  • เพิ่ม padding ให้กับ tokenizer เพื่อประมวลผลข้อความเป็น batch ที่มีขนาดเท่ากัน
  • Tokenize ข้อมูลข้อความโดยใช้ GPT tokenizer ที่ผ่านการ pre-train มาแล้ว ร่วมกับฟังก์ชันที่กำหนดไว้