การประเมิน RLHF ด้วยเมตริก

สมมติว่ากำลังฝึกโมเดลโดยใช้ Reinforcement Learning from Human Feedback (RLHF) และต้องการประเมินประสิทธิภาพของโมเดลด้วยเมตริกที่เหมาะสม

ตัวเลือกใดต่อไปนี้เหมาะสมที่สุดสำหรับการประเมินงาน summarization โดยใช้เมตริกแบบอัตโนมัติ?

สามารถดูข้อมูลผ่าน console เพื่อช่วยในการตัดสินใจว่าเมตริกใดเหมาะกับงานนี้มากที่สุด โดยข้อมูลที่ต้องการประเมินได้ถูกโหลดไว้ล่วงหน้าในรูปแบบ DataFrame ชื่อ df_evaluation

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning from Human Feedback (RLHF)

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

เริ่มคอร์สฟรี

บทนี้แนะนำพื้นฐานของ Reinforcement Learning with Human Feedback (RLHF) ซึ่งเป็นเทคนิคที่ใช้ข้อมูลป้อนกลับจากมนุษย์เพื่อช่วยให้โมเดล AI เรียนรู้ได้อย่างมีประสิทธิภาพมากขึ้น เริ่มต้นกับ RLHF โดยทำความเข้าใจว่าแตกต่างจาก reinforcement learning แบบดั้งเดิมอย่างไร และเหตุใด human feedback จึงช่วยยกระดับประสิทธิภาพของ AI ในหลากหลายด้าน

Exercise 1: RLHF เบื้องต้น Exercise 2: การสร้างข้อความด้วย RLHF Exercise 3: การจำแนกข้อความที่สร้างขึ้นสำหรับ RLHF Exercise 4: RL vs. RLHF Exercise 5: สำรวจ LLM ที่ผ่านการฝึกมาแล้ว Exercise 6: Tokenize ชุดข้อมูลข้อความ Exercise 7: การ Fine-tune สำหรับการจำแนกรีวิว Exercise 8: การเตรียมข้อมูลสำหรับ RLHF Exercise 9: การเตรียมชุดข้อมูล preference Exercise 10: การดึงข้อมูล Prompt

เรียนรู้วิธีตั้งค่าระบบสำหรับรวบรวม human feedback ในบทนี้ ครอบคลุมแนวปฏิบัติที่ดีที่สุดในการเก็บข้อมูลคุณภาพสูง ตั้งแต่การเปรียบเทียบแบบคู่ (pairwise comparisons) ไปจนถึง uncertainty sampling พร้อมสำรวจกลยุทธ์ต่าง ๆ เพื่อยกระดับการเก็บข้อมูล

Exercise 1: วิธีการรวบรวม Feedback คุณภาพสูง Exercise 2: ทำความเข้าใจการเปรียบเทียบและการให้คะแนนใน RLHF Exercise 3: เปรียบเทียบสโลแกนสำหรับแคมเปญฟิตเนส Exercise 4: การวัดคุณภาพและความเกี่ยวข้องของ Feedback Exercise 5: ความมั่นใจต่ำ Exercise 6: K-means สำหรับการจัดกลุ่มข้อมูลฟีดแบ็ก Exercise 7: การเรียนรู้เชิงรุก Exercise 8: การสร้าง Active Learning Pipeline Exercise 9: ลูปการเรียนรู้แบบ Active Learning

ในบทนี้จะเจาะลึกแก่นของการฝึก Reinforcement Learning from Human Feedback ครอบคลุมการ fine-tune ด้วย PPO เทคนิคการฝึกอย่างมีประสิทธิภาพ และการจัดการกับความเบี่ยงเบนที่อาจเกิดขึ้นจากวัตถุประสงค์ของ metric

Exercise 1: สำรวจ Reward Model Exercise 2: การกำหนดค่าเริ่มต้นของ Reward Exercise 3: ตั้งค่า Reward Trainer Exercise 4: การฝึกด้วย PPO Exercise 5: เริ่มต้น PPO trainer Exercise 6: การ fine-tune ด้วย PPO Exercise 7: การ Fine-tune อย่างมีประสิทธิภาพใน RLHF Exercise 8: เตรียมพร้อมสำหรับการเทรนแบบ 8-bit Exercise 9: เทรนด้วย LoRA

สำรวจเทคนิคสำคัญในการประเมินและปรับปรุงประสิทธิภาพของโมเดลในบทสุดท้ายของ Reinforcement Learning from Human Feedback (RLHF) ตั้งแต่การปรับแต่ง metric ไปจนถึงการนำ feedback จากแหล่งที่หลากหลายมาใช้ เพื่อมอบชุดเครื่องมือครบครันสำหรับการพัฒนาโมเดลอย่างมีประสิทธิผล

Exercise 1: เมตริกและการปรับปรุงโมเดล Exercise 2: การลด KL divergence ที่ติดลบ Exercise 3: ตรวจสอบโมเดลรางวัล Exercise 4: การนำแหล่ง Feedback ที่หลากหลายมาใช้Exercise 5: การโหวตแบบเสียงข้างมากจากแหล่งข้อมูลหลายแหล่ง Exercise 6: การระบุแหล่งข้อมูลที่ไม่น่าเชื่อถือ Exercise 7: การประเมินโมเดล RLHF Exercise 8: การแปลความหมายของกราฟ Exercise 9: การประเมิน RLHF ด้วยเมตริก

แบบฝึกหัดปัจจุบัน

Exercise 10: สรุปการเดินทางสู่ RLHF ของคุณ