CommencezCommencez gratuitement

Précision, RSI et AUC

Le retour sur investissement (RSI) peut se décomposer en la précision multipliée par un ratio rendement/coût. Comme nous l'avons vu, il est possible qu'un modèle ait une faible précision, même si l'AUC de la courbe ROC est élevée. Si la précision est faible, le RSI le sera aussi. Dans cet exercice, vous utiliserez un MLP pour calculer un RSI d'exemple en supposant un r fixe, le rendement d'un clic par nombre d'impressions, et un cost, le coût par nombre d'impressions, ainsi que la précision et l'AUC de la courbe ROC pour observer la variation de ces trois valeurs.

X_train, y_train, X_test, y_test sont disponibles dans votre espace de travail, de même que clf comme classifieur MLP, les probabilités dans y_score et les cibles prédites dans y_pred. pandas sous pd et sklearn sont aussi disponibles dans votre espace de travail.

Cette activité fait partie du cours

Prédire le CTR avec le Machine Learning en Python

Voir le cours

Instructions de l’exercice

  • Calculez la précision prec du classifieur MLP.
  • Calculez le RSI total à partir de la précision prec.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Modifier et exécuter le code