กราฟ Calibration
ตอนนี้เราทราบแล้วว่า gradient boosted tree clf_gbt มีประสิทธิภาพโดยรวมดีที่สุด ขั้นตอนถัดไปคือตรวจสอบ calibration ของโมเดลทั้งสองเพื่อดูว่าประสิทธิภาพการพยากรณ์เริ่มต้นมีความเสถียรเพียงใดในช่วงความน่าจะเป็นต่าง ๆ โดยสามารถใช้กราฟ calibration ของแต่ละโมเดลตรวจสอบได้ผ่านฟังก์ชัน calibration_curve()
การสร้างกราฟ calibration ใน Python ต้องใช้โค้ดหลายบรรทัด ดังนั้นเราจะค่อย ๆ เพิ่มส่วนประกอบทีละขั้นตอน
ชุดผลการพยากรณ์ clf_logistic_preds และ clf_gbt_preds ถูกโหลดไว้ในพื้นที่ทำงานแล้ว รวมถึงผลลัพธ์จาก calibration_curve() ของแต่ละโมเดลที่โหลดไว้เป็น: frac_of_pos_lr, mean_pred_val_lr, frac_of_pos_gbt และ mean_pred_val_gbt
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้างโมเดลความเสี่ยงด้านเครดิตด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create the calibration curve plot with the guideline
plt.____([0, 1], [0, 1], 'k:', label=____)
plt.____('Fraction of positives')
plt.____('Average Predicted Probability')
plt.legend()
plt.title('Calibration Curve')
plt.____()