ลูปการเรียนรู้แบบ Active Learning
เมื่อตั้งค่า active learner เรียบร้อยแล้ว ก็ถึงเวลานำไปใช้งาน ในแบบฝึกหัดนี้ จะได้ implement ลูปที่ช่วยให้โมเดลจัดหมวดหมู่ข้อมูลได้ดียิ่งขึ้นอย่างต่อเนื่อง
ชุดข้อมูลถูกโหลดไว้แล้ว โดย X_labeled คือข้อมูลฝึกที่มีป้ายกำกับ, X_unlabeled คือข้อมูลที่ยังไม่มีป้ายกำกับ และ y_labeled คือป้ายกำกับ
ออบเจ็กต์ learner ถูก import ไว้ให้แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Reinforcement Learning from Human Feedback (RLHF)
คำแนะนำการฝึกหัด
- สร้างลูปให้รันทั้งหมด
10รอบ - ในแต่ละรอบ ให้ learner เรียนรู้จากข้อมูลที่มีป้ายกำกับในขณะนั้น
- ใช้ learner query จุดข้อมูลที่มีความไม่แน่นอนสูงสุดจากข้อมูลที่ไม่มีป้ายกำกับ โดยตั้งจำนวน instance เป็น
5 - อัปเดตชุดข้อมูลที่ไม่มีป้ายกำกับให้สอดคล้องกัน
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Set the number of queries
____
for _ in range(n_queries):
# Use the current labeled data
____
# Query from unlabeled data
query_idx, _ = ____
X_new, y_new = X_unlabeled[query_idx], y[query_idx]
X_labeled = np.vstack((X_labeled, X_new))
y_labeled = np.append(y_labeled, y_new)
# Update the unlabeled dataset
X_unlabeled = np.delete(____, query_idx, axis=0)