เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ความมั่นใจต่ำ

ในแบบฝึกหัดนี้ จะได้ทำงานกับ reward model เพื่อประเมินว่าโมเดลจัดประเภทข้อความอินพุตด้วยความมั่นใจเพียงใด และกรองออกเฉพาะการทำนายที่ขาดความน่าเชื่อถือ เป้าหมายคือประเมินความสามารถของโมเดลในการสร้างการทำนาย และนำ confidence threshold มาใช้เพื่อให้แน่ใจว่าเฉพาะการทำนายที่มีความมั่นใจสูงเท่านั้นที่ถือว่าถูกต้อง

ตัวแปรการกระจายความน่าจะเป็นสำหรับข้อความ feedback แต่ละรายการ (prob_dists) และข้อความ feedback (texts) รวมถึงฟังก์ชัน least_confidence() ได้ถูกโหลดไว้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Reinforcement Learning from Human Feedback (RLHF)

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนดฟังก์ชันเพื่อกรอง index ของการกระจายความน่าจะเป็นที่มีความมั่นใจต่ำกว่า threshold ที่กำหนด
  • รับ index ของความคิดเห็น feedback โดยส่งการกระจายความน่าจะเป็นเข้าไปในฟังก์ชัน โดยคงค่า threshold ไว้ที่ 0.5 ตามเดิม

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Define the filter function
def filter_low_confidence_predictions(prob_dists, threshold=0.5):
    filtered_indices = [i for i, ____ in enumerate(____) ____]
    return filtered_indices

# Find the indices
filtered_indices = ____

high_confidence_texts = [texts[i] for i in filtered_indices]
print("High-confidence texts:", high_confidence_texts)
แก้ไขและรันโค้ด