क्रेडिट मॉडलों का विज़ुअल स्कोरिंग
अब, आप मॉडल के प्रदर्शन को विज़ुअलाइज़ करना चाहते हैं. ROC चार्ट में X और Y अक्ष दो मेट्रिक्स होते हैं जिन्हें आप पहले देख चुके हैं: false positive rate (fall-out) और true positive rate (sensitivity).
आप इसकी परफॉर्मेंस का ROC चार्ट निम्न कोड से बना सकते हैं:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
AUC स्कोर निकालने के लिए आप roc_auc_score() का उपयोग करते हैं.
क्रेडिट डेटा cr_loan_prep के साथ X_test और y_test डेटासेट वर्कस्पेस में लोड हैं. एक प्रशिक्षित LogisticRegression() मॉडल clf_logistic नाम से भी वर्कस्पेस में लोड है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में क्रेडिट रिस्क मॉडलिंग
अभ्यास निर्देश
- default की probability के लिए प्रेडिक्शन बनाइए और उन्हें
predsमें सहेजिए. - मॉडल का accuracy स्कोर
Xऔरyटेस्ट सेट पर प्रिंट कीजिए. - टेस्ट डेटा और default की probabilities पर
roc_curve()का उपयोग करकेfalloutऔरsensitivityबनाइए. फिर, x-axis परfalloutके साथ ROC कर्व प्लॉट बनाइए. - टेस्ट डेटा और default की probabilities का उपयोग कर मॉडल का AUC निकालिए और उसे
aucमें सहेजिए.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)