Precision, ROI och AUC
Avkastning på investering (ROI) kan delas upp i precisionen multiplicerad med ett förhållande mellan avkastning och kostnad. Som nämnts kan en modells precision vara låg även när AUC för ROC-kurvan är hög. Om precisionen är låg blir ROI också låg. I den här övningen använder du ett MLP för att beräkna ett exempel-ROI baserat på ett fast r – avkastningen per klick dividerat med antalet visningar – och cost, kostnaden per antal visningar, tillsammans med precision och AUC för ROC-kurvan, för att se hur de tre värdena varierar.
X_train, y_train, X_test, y_test finns tillgängliga i din arbetsyta, tillsammans med clf som en MLP-klassificerare, sannolikhetspoäng lagrade i y_score och förutsagda målvärden i y_pred. pandas som pd och sklearn finns också tillgängliga i din arbetsyta.
Den här övningen är en del av kursen
Förutsäga CTR med maskininlärning i Python
Övningsinstruktioner
- Beräkna precisionen
precför MLP-klassificeraren. - Beräkna det totala ROI baserat på precisionen
prec.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05
roi = ____ * r / cost
# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])
print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
roi, prec, roc_auc))