So sánh báo cáo của các mô hình
Bạn đã dùng logistic regression và gradient boosted trees. Đến lúc so sánh hai mô hình này để xem mô hình nào sẽ được dùng cho dự đoán cuối cùng.
Một trong những bước đầu tiên dễ nhất để so sánh khả năng dự đoán xác suất vỡ nợ của các mô hình khác nhau là xem các chỉ số từ classification_report(). Với báo cáo này, bạn có thể thấy nhiều thước đo điểm số đặt cạnh nhau cho từng mô hình. Vì dữ liệu và mô hình thường mất cân bằng với rất ít khoản vỡ nợ, tạm thời hãy tập trung vào các chỉ số cho lớp vỡ nợ.
Các mô hình đã huấn luyện clf_logistic và clf_gbt đã được nạp vào môi trường cùng với dự đoán preds_df_lr và preds_df_gbt. Mỗi mô hình đều dùng ngưỡng 0.4. Tập kiểm tra y_test cũng đã sẵn sàng.
Bài tập này là một phần của khóa học
Mô hình hóa Rủi ro Tín dụng bằng Python
Hướng dẫn bài tập
- In
classification_report()cho dự đoán của logistic regression. - In
classification_report()cho dự đoán của gradient boosted tree. - In
macro averagecủa F-1 Score cho logistic regression bằngprecision_recall_fscore_support(). - In
macro averagecủa F-1 Score cho gradient boosted tree bằngprecision_recall_fscore_support().
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])