Précision, ROI et AUC
Le retour sur investissement (ROI) peut se décomposer en la précision multipliée par un ratio rendement/coût. Comme évoqué, il est possible qu’un modèle ait une précision faible tout en ayant une AUC de la courbe ROC élevée. Si la précision est faible, le ROI sera également faible. Dans cet exercice, vous utiliserez un MLP pour calculer un ROI d’exemple en supposant un r fixe (le rendement par clic pour un nombre d’impressions) et un cost fixe (le coût pour un nombre d’impressions), ainsi que la précision et l’AUC de la courbe ROC, afin d’observer comment ces trois valeurs évoluent.
X_train, y_train, X_test, y_test sont disponibles dans votre espace de travail, ainsi que clf en tant que classifieur MLP, les scores de probabilité dans y_score et les cibles prédites dans y_pred. pandas sous l’alias pd et sklearn sont également disponibles dans votre espace de travail.
Cet exercice fait partie du cours
Prédire le CTR avec le Machine Learning en Python
Instructions
- Calculez la précision
precdu classifieur MLP. - Calculez le ROI total en fonction de la précision
prec.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05
roi = ____ * r / cost
# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])
print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
roi, prec, roc_auc))