शुरू करेंमुफ़्त में शुरू करें

Precision, ROI, और AUC

Return on Investment (ROI) को precision और return-to-cost के अनुपात के गुणनफल के रूप में लिखा जा सकता है। जैसा कि चर्चा हुई, ऐसा हो सकता है कि किसी मॉडल का precision कम हो, भले ही ROC कर्व का AUC ऊँचा हो। अगर precision कम है, तो ROI भी कम रहेगा। इस अभ्यास में, आप एक MLP का उपयोग करके एक सैंपल ROI निकालेंगे, यह मानते हुए कि r (प्रति impressions पर क्लिक का रिटर्न) और cost (प्रति impressions लागत) फिक्स्ड हैं। आप precision और ROC कर्व के AUC के साथ मिलाकर देखेंगे कि ये तीनों मान कैसे बदलते हैं.

X_train, y_train, X_test, y_test आपके वर्कस्पेस में उपलब्ध हैं, साथ ही clf एक MLP classifier के रूप में, probability scores y_score में और predicted targets y_pred में स्टोर हैं। pandas pd के रूप में और sklearn भी आपके वर्कस्पेस में उपलब्ध हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Python में Machine Learning के साथ CTR प्रेडिक्शन

पाठ्यक्रम देखें

अभ्यास निर्देश

  • MLP classifier का precision prec निकालें.
  • precision prec के आधार पर कुल ROI की गणना करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
कोड संपादित करें और चलाएँ