So sánh bằng ROC
Bạn nên dùng biểu đồ ROC và điểm AUC để so sánh hai mô hình. Đôi khi, trực quan hóa sẽ giúp bạn và người dùng doanh nghiệp tiềm năng hiểu rõ sự khác biệt giữa các mô hình đang được cân nhắc.
Khi đã có đồ thị, bạn sẽ tự tin hơn để đưa ra quyết định. Lift cho biết đường cong lệch xa dự đoán ngẫu nhiên đến mức nào. AUC là diện tích giữa đường cong và đường dự đoán ngẫu nhiên. Mô hình có lift lớn hơn và AUC cao hơn là mô hình dự đoán chính xác hơn.
Các mô hình đã huấn luyện clf_logistic và clf_gbt đã được nạp vào không gian làm việc. Các dự đoán xác suất vỡ nợ clf_logistic_preds và clf_gbt_preds cũng đã được nạp sẵn.
Bài tập này là một phần của khóa học
Mô hình hóa Rủi ro Tín dụng bằng Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()