Precisão, ROI e AUC
O retorno sobre o investimento (ROI) pode ser decomposto na precisão multiplicada por uma razão entre retorno e custo. Como discutimos, é possível que a precisão de um modelo seja baixa, mesmo quando a AUC da curva ROC é alta. Se a precisão for baixa, o ROI também será baixo. Neste exercício, você vai usar um MLP para calcular um ROI de exemplo assumindo r fixo, o retorno por clique por número de impressões, e cost, o custo por número de impressões, juntamente com os valores de precisão e AUC da curva ROC para verificar como os três valores variam.
X_train, y_train, X_test, y_test estão disponíveis no seu ambiente, junto com clf como um classificador MLP, as pontuações de probabilidade armazenadas em y_score e os alvos previstos em y_pred. pandas como pd e sklearn também estão disponíveis no seu ambiente.
Este exercício faz parte do curso
Prevendo CTR com Machine Learning em Python
Instruções do exercício
- Calcule a precisão
precdo classificador MLP. - Calcule o ROI total com base na precisão
prec.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05
roi = ____ * r / cost
# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])
print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
roi, prec, roc_auc))