ÎncepețiÎncepe gratuit

Precizie, ROI și AUC

Rentabilitatea investiției (ROI) poate fi descompusă în precizie înmulțită cu un raport dintre câștig și cost. Așa cum s-a discutat, precizia unui model poate fi scăzută chiar și atunci când AUC al curbei ROC este ridicat. Dacă precizia este scăzută, atunci și ROI va fi scăzut. În acest exercițiu, vei folosi un MLP pentru a calcula un ROI de exemplu, presupunând un r fix – câștigul per click raportat la numărul de afișări – și cost – costul per număr de afișări –, împreună cu valorile de precizie și AUC ale curbei ROC, pentru a observa cum variază cele trei valori.

X_train, y_train, X_test, y_test sunt disponibile în spațiul tău de lucru, alături de clf ca un clasificator MLP, scorurile de probabilitate stocate în y_score și țintele prezise în y_pred. pandas ca pd și sklearn sunt, de asemenea, disponibile în spațiul tău de lucru.

Acest exercițiu face parte din cursul

Predicția CTR cu Machine Learning în Python

Vezi cursul

Instrucțiuni pentru exercițiu

  • Calculează precizia prec a clasificatorului MLP.
  • Calculează ROI-ul total pe baza preciziei prec.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Editează și rulează codul