ตรวจสอบโมเดลรางวัล

คุณกลับมาปรับแต่งโมเดลอีกครั้งและพบว่าประสิทธิภาพยังคงด้อยกว่าโมเดลพื้นฐาน คราวนี้จึงต้องการตรวจสอบโมเดลรางวัล และได้เตรียมชุดข้อมูลที่มีผลลัพธ์จากโมเดลไว้สำหรับวิเคราะห์ จะทำการตรวจสอบอะไรบ้างกับข้อมูลผลลัพธ์นี้?

ชุดข้อมูลถูกนำเข้าไว้แล้วในชื่อ reward_model_results

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning from Human Feedback (RLHF)

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

เริ่มคอร์สฟรี

บทนี้แนะนำพื้นฐานของ Reinforcement Learning with Human Feedback (RLHF) ซึ่งเป็นเทคนิคที่ใช้ข้อมูลป้อนกลับจากมนุษย์เพื่อช่วยให้โมเดล AI เรียนรู้ได้อย่างมีประสิทธิภาพมากขึ้น เริ่มต้นกับ RLHF โดยทำความเข้าใจว่าแตกต่างจาก reinforcement learning แบบดั้งเดิมอย่างไร และเหตุใด human feedback จึงช่วยยกระดับประสิทธิภาพของ AI ในหลากหลายด้าน

Exercise 1: RLHF เบื้องต้น Exercise 2: การสร้างข้อความด้วย RLHF Exercise 3: การจำแนกข้อความที่สร้างขึ้นสำหรับ RLHF Exercise 4: RL vs. RLHF Exercise 5: สำรวจ LLM ที่ผ่านการฝึกมาแล้ว Exercise 6: Tokenize ชุดข้อมูลข้อความ Exercise 7: การ Fine-tune สำหรับการจำแนกรีวิว Exercise 8: การเตรียมข้อมูลสำหรับ RLHF Exercise 9: การเตรียมชุดข้อมูล preference Exercise 10: การดึงข้อมูล Prompt

เรียนรู้วิธีตั้งค่าระบบสำหรับรวบรวม human feedback ในบทนี้ ครอบคลุมแนวปฏิบัติที่ดีที่สุดในการเก็บข้อมูลคุณภาพสูง ตั้งแต่การเปรียบเทียบแบบคู่ (pairwise comparisons) ไปจนถึง uncertainty sampling พร้อมสำรวจกลยุทธ์ต่าง ๆ เพื่อยกระดับการเก็บข้อมูล

Exercise 1: วิธีการรวบรวม Feedback คุณภาพสูง Exercise 2: ทำความเข้าใจการเปรียบเทียบและการให้คะแนนใน RLHF Exercise 3: เปรียบเทียบสโลแกนสำหรับแคมเปญฟิตเนส Exercise 4: การวัดคุณภาพและความเกี่ยวข้องของ Feedback Exercise 5: ความมั่นใจต่ำ Exercise 6: K-means สำหรับการจัดกลุ่มข้อมูลฟีดแบ็ก Exercise 7: การเรียนรู้เชิงรุก Exercise 8: การสร้าง Active Learning Pipeline Exercise 9: ลูปการเรียนรู้แบบ Active Learning

ในบทนี้จะเจาะลึกแก่นของการฝึก Reinforcement Learning from Human Feedback ครอบคลุมการ fine-tune ด้วย PPO เทคนิคการฝึกอย่างมีประสิทธิภาพ และการจัดการกับความเบี่ยงเบนที่อาจเกิดขึ้นจากวัตถุประสงค์ของ metric

Exercise 1: สำรวจ Reward Model Exercise 2: การกำหนดค่าเริ่มต้นของ Reward Exercise 3: ตั้งค่า Reward Trainer Exercise 4: การฝึกด้วย PPO Exercise 5: เริ่มต้น PPO trainer Exercise 6: การ fine-tune ด้วย PPO Exercise 7: การ Fine-tune อย่างมีประสิทธิภาพใน RLHF Exercise 8: เตรียมพร้อมสำหรับการเทรนแบบ 8-bit Exercise 9: เทรนด้วย LoRA

สำรวจเทคนิคสำคัญในการประเมินและปรับปรุงประสิทธิภาพของโมเดลในบทสุดท้ายของ Reinforcement Learning from Human Feedback (RLHF) ตั้งแต่การปรับแต่ง metric ไปจนถึงการนำ feedback จากแหล่งที่หลากหลายมาใช้ เพื่อมอบชุดเครื่องมือครบครันสำหรับการพัฒนาโมเดลอย่างมีประสิทธิผล

Exercise 1: เมตริกและการปรับปรุงโมเดล Exercise 2: การลด KL divergence ที่ติดลบ Exercise 3: ตรวจสอบโมเดลรางวัล

แบบฝึกหัดปัจจุบัน

Exercise 4: การนำแหล่ง Feedback ที่หลากหลายมาใช้Exercise 5: การโหวตแบบเสียงข้างมากจากแหล่งข้อมูลหลายแหล่ง Exercise 6: การระบุแหล่งข้อมูลที่ไม่น่าเชื่อถือ Exercise 7: การประเมินโมเดล RLHF Exercise 8: การแปลความหมายของกราฟ Exercise 9: การประเมิน RLHF ด้วยเมตริก Exercise 10: สรุปการเดินทางสู่ RLHF ของคุณ