Začněte nyníZačněte zdarma

Přesnost, ROI a AUC

Návratnost investice (ROI) lze rozložit na přesnost vynásobenou poměrem výnosu a nákladů. Jak bylo zmíněno, přesnost modelu může být nízká, i když je AUC křivky ROC vysoká. Pokud je přesnost nízká, bude nízké i ROI. V tomto cvičení použiješ MLP k výpočtu vzorového ROI za předpokladu fixní hodnoty r (výnos na klik na počet zobrazení) a cost (náklady na počet zobrazení), spolu s hodnotami přesnosti a AUC křivky ROC, abys sledoval/a, jak se tyto tři hodnoty mění.

V pracovním prostředí máš k dispozici X_train, y_train, X_test, y_test, dále clf jako MLP klasifikátor, skóre pravděpodobnosti uložená v y_score a predikované cíle v y_pred. K dispozici jsou také pandas jako pd a sklearn.

Toto cvičení je součástí kurzu

Předpovídání CTR pomocí Machine Learning v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Vypočítej přesnost prec MLP klasifikátoru.
  • Vypočítej celkové ROI na základě přesnosti prec.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Upravit a spustit kód