เปรียบเทียบด้วย ROC
ควรใช้กราฟ ROC และคะแนน AUC ในการเปรียบเทียบโมเดลทั้งสอง บางครั้งการแสดงผลด้วยภาพช่วยให้คุณและผู้ใช้งานในเชิงธุรกิจเข้าใจความแตกต่างระหว่างโมเดลที่กำลังพิจารณาได้ชัดเจนยิ่งขึ้น
เมื่อมองภาพกราฟแล้ว จะสามารถตัดสินใจเลือกโมเดลได้ง่ายขึ้น โดย lift คือระยะห่างของเส้นโค้งจากเส้นการทำนายแบบสุ่ม ส่วน AUC คือพื้นที่ระหว่างเส้นโค้งกับเส้นการทำนายแบบสุ่ม โมเดลที่มี lift สูงกว่าและมีค่า AUC มากกว่า คือโมเดลที่ทำนายได้แม่นยำกว่า
โมเดลที่ฝึกแล้วอย่าง clf_logistic และ clf_gbt ถูกโหลดเข้า workspace แล้ว รวมถึงผลการทำนายความน่าจะเป็นของการผิดนัดชำระ clf_logistic_preds และ clf_gbt_preds ก็ถูกโหลดไว้เรียบร้อยแล้วเช่นกัน
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้างโมเดลความเสี่ยงด้านเครดิตด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()