RF मॉडल के लिए परफॉर्मेंस मैट्रिक्स
पिछले अभ्यासों में आपने अपने रैंडम फॉरेस्ट मॉडल की accuracy स्कोर निकाली थी। इस बार, हमें पता है कि fraud detection के मामले में accuracy भ्रामक हो सकती है। बहुत असंतुलित fraud डेटा के साथ, AUROC कर्व अधिक भरोसेमंद परफॉर्मेंस मैट्रिक है, जिसका उपयोग अलग-अलग classifiers की तुलना करने के लिए किया जाता है। इसके अलावा, classification report आपके मॉडल की precision और recall बताती है, जबकि confusion matrix वास्तव में दिखाती है कि आप कितने fraud केस सही भविष्यवाणी कर पाते हैं। तो आइए, ये परफॉर्मेंस मैट्रिक्स निकालते हैं।
आप पिछले अभ्यास वाले उसी रैंडम फॉरेस्ट मॉडल पर काम जारी रखेंगे। आपका मॉडल model = RandomForestClassifier(random_state=5) के रूप में परिभाषित है, जिसे पहले ही आपके training डेटा पर fit किया जा चुका है, और X_train, y_train, X_test, y_test उपलब्ध हैं।
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में Fraud Detection
अभ्यास निर्देश
sklearn.metricsसे classification report, confusion matrix और ROC स्कोर इम्पोर्ट करें.- अपने trained रैंडम फॉरेस्ट
modelसे बाइनरी predictions प्राप्त करें. predict_proba()फंक्शन चलाकर predicted probabilities प्राप्त करें.y_testकी तुलनाpredictedसे करके classification report और confusion matrix प्राप्त करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Import the packages to get the different performance metrics
from sklearn.metrics import ____, ____, ____
# Obtain the predictions from our random forest model
predicted = model.____(X_test)
# Predict probabilities
probs = ____.____(X_test)
# Print the ROC curve, classification report and confusion matrix
print(____(y_test, probs[:,1]))
print(____(____, predicted))
print(____(____, ____))