Feedback loop
ในแอปพลิเคชัน ML จริง การ deploy โมเดลแล้วปล่อยทิ้งไว้เฉยๆ นั้นไม่เพียงพอ เมื่อข้อมูลเปลี่ยนแปลง โมเดลก็ควรปรับตัวตามไปด้วย feedback loop คือกลไกที่ช่วยให้โมเดลเรียนรู้และปรับตัวอย่างต่อเนื่องตามข้อมูลที่เปลี่ยนไป สมมติว่าโมเดลวินิจฉัยโรคหัวใจของคุณถูก deploy ในระบบจริงมาได้หลายเดือนแล้ว ในฐานะส่วนหนึ่งของการติดตามและปรับปรุงอย่างต่อเนื่อง คุณต้องการประเมินประสิทธิภาพปัจจุบันของโมเดล และพิจารณาว่าจำเป็นต้องฝึกโมเดลใหม่หรือปรับแต่งอีกหรือไม่ balanced_accuracy_score ถูก import มาให้แล้วจาก sklearn.metrics, ks_2samp ถูก import มาจาก scipy.stats, และตัวอย่างข้อมูล true_labels_feb กับ predicted_labels_feb สำหรับช่วงเวลาปัจจุบันได้ถูกกำหนดไว้ล่วงหน้าแล้ว รวมถึง jan_data_samples และ feb_data_samples ก็ถูกโหลดมาให้เรียบร้อยแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning แบบ End-to-End
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Calculate and print the balanced accuracy of the model
balanced_accuracy_jan = 90.0
balanced_accuracy_feb = ____(____, ____) * 100
print(f"Model Balanced Accuracy In February: {____:.2f}%")
print(f"Is there a decline in accuracy? {'Yes' if ____ < ____ else 'No'}")