Chấm điểm trực quan các mô hình tín dụng
Bây giờ, bạn muốn trực quan hóa hiệu suất của mô hình. Trên biểu đồ ROC, trục X và Y lần lượt là hai chỉ số bạn đã xem: tỷ lệ dương tính giả (fall-out) và tỷ lệ dương tính thật (sensitivity).
Bạn có thể tạo biểu đồ ROC thể hiện hiệu suất bằng đoạn mã sau:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Để tính điểm AUC, bạn dùng roc_auc_score().
Bộ dữ liệu tín dụng cr_loan_prep cùng với các tập X_test và y_test đã được nạp vào không gian làm việc. Một mô hình LogisticRegression() đã huấn luyện tên là clf_logistic cũng đã được nạp.
Bài tập này là một phần của khóa học
Mô hình hóa Rủi ro Tín dụng bằng Python
Hướng dẫn bài tập
- Tạo các dự đoán cho xác suất vỡ nợ và lưu vào
preds. - In điểm accuracy của mô hình trên các tập kiểm tra
Xvày. - Dùng
roc_curve()trên dữ liệu kiểm tra và các xác suất vỡ nợ để tạofalloutvàsensitivity. Sau đó, vẽ biểu đồ ROC vớifallouttrên trục x. - Tính AUC của mô hình bằng dữ liệu kiểm tra và các xác suất vỡ nợ và lưu vào
auc.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)