Precision, ROI en AUC
De return on investment (ROI) kun je uitsplitsen in de precision vermenigvuldigd met een verhouding van opbrengst tot kosten. Zoals besproken kan de precision van een model laag zijn, zelfs als de AUC van de ROC-curve hoog is. Als de precision laag is, zal de ROI ook laag zijn. In deze oefening gebruik je een MLP om een voorbeeld-ROI te berekenen met een vaste r, de opbrengst per klik per aantal vertoningen, en cost, de kosten per aantal vertoningen, samen met de precision en AUC-waarden van de ROC-curve om te bekijken hoe deze drie waarden variëren.
X_train, y_train, X_test, y_test zijn beschikbaar in je werkruimte, samen met clf als een MLP-classifier, waarschijnlijkheidsscores in y_score en voorspelde targets in y_pred. pandas als pd en sklearn zijn ook beschikbaar in je werkruimte.
Deze oefening maakt deel uit van de cursus
CTR voorspellen met Machine Learning in Python
Oefeninstructies
- Bereken de precision
precvan de MLP-classifier. - Bereken de totale ROI op basis van de precision
prec.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05
roi = ____ * r / cost
# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])
print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
roi, prec, roc_auc))