LoslegenKostenlos loslegen

Precision, ROI und AUC

Die Kapitalrendite (ROI) lässt sich als Precision multipliziert mit einem Verhältnis aus Ertrag zu Kosten zerlegen. Wie besprochen, kann die Precision eines Modells niedrig sein, selbst wenn die AUC der ROC-Kurve hoch ist. Ist die Precision niedrig, ist auch die ROI niedrig. In dieser Übung verwendest du ein MLP, um eine beispielhafte ROI zu berechnen, wobei ein fixes r (der Ertrag pro Klick je Anzahl an Impressions) und cost (die Kosten je Anzahl an Impressions) angenommen werden. Zusätzlich nutzt du Precision und AUC der ROC-Kurve, um zu prüfen, wie sich die drei Werte verändern.

X_train, y_train, X_test, y_test sind in deinem Workspace verfügbar, ebenso clf als MLP-Classifier, Wahrscheinlichkeitswerte in y_score und vorhergesagte Zielwerte in y_pred. pandas als pd und sklearn stehen dir ebenfalls im Workspace zur Verfügung.

Diese Übung ist Teil des Kurses

CTR-Vorhersage mit Machine Learning in Python

Kurs anzeigen

Anleitung zur Übung

  • Berechne die Precision prec des MLP-Classifiers.
  • Berechne die gesamte ROI basierend auf der Precision prec.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Code bearbeiten und ausführen