ROC के साथ तुलना
आपको दोनों मॉडलों की तुलना करने के लिए ROC चार्ट और AUC स्कोर का उपयोग करना चाहिए. कई बार विज़ुअल्स से आपको और संभावित बिज़नेस यूज़र्स को विचाराधीन विभिन्न मॉडलों के बीच के अंतर स्पष्ट रूप से समझने में मदद मिलती है.
ग्राफ़ को ध्यान में रखते हुए, आप निर्णय लेने के लिए बेहतर तैयार होंगे. लिफ्ट यह दर्शाता है कि कर्व रैंडम प्रेडिक्शन से कितनी दूर है. AUC कर्व और रैंडम प्रेडिक्शन के बीच का एरिया होता है. जिस मॉडल में लिफ्ट अधिक हो, और AUC ऊँचा हो, वही सही प्रेडिक्शन करने में बेहतर होता है.
ट्रेंड मॉडल clf_logistic और clf_gbt वर्कस्पेस में लोड कर दिए गए हैं. डिफॉल्ट की प्रॉबेबिलिटी के प्रेडिक्शन clf_logistic_preds और clf_gbt_preds भी लोड हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में क्रेडिट रिस्क मॉडलिंग
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()