सिर्फ accuracy से आगे
इस अभ्यास में, केवल accuracy देखने से आगे बढ़कर, आप एक बेसिक decision tree मॉडल के लिए ROC कर्व का AUC मूल्यांकन करेंगे. ध्यान रखें कि एक random classifier के लिए बेसलाइन तुलना AUC 0.5 होती है, इसलिए आपका लक्ष्य 0.5 से अधिक स्कोर पाना होना चाहिए.
X फीचर्स वाला DataFrame उपलब्ध है, और y टार्गेट वैल्यूज़ वाला DataFrame उपलब्ध है. आपके वर्कस्पेस में sklearn और pandas (pd के रूप में) भी उपलब्ध हैं.
हम इसी सेटअप का उपयोग करके अपनी ROC कर्व के AUC को देखेंगे.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में Machine Learning के साथ CTR प्रेडिक्शन
अभ्यास निर्देश
- डेटा को training और testing सेटों में बाँटें.
- क्लासिफायर को training डेटा पर fit कीजिए और
predict_proba()तथाpredict()का उपयोग करके testing डेटा के लिए predictions बनाइए. roc_curve()फंक्शन का उपयोग करके ROC कर्व के नीचे का AUC निकालें,y_testपरroc_curve(y_test, y_score[:, 1])के माध्यम से.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Training and testing
X_train, X_test, y_train, y_test = \
____(X, y, test_size = .2, random_state = 0)
# Create decision tree classifier
clf = DecisionTreeClassifier()
# Train classifier - predict probability score and label
y_score = clf.fit(____, ____).predict_proba(____)
y_pred = clf.fit(____, ____).predict(____)
# Get ROC curve metrics
fpr, tpr, thresholds = ____(____, y_score[:, 1])
roc_auc = auc(fpr, tpr)
print(roc_auc)