Calculando o score ROC/AUC
Embora o Recall seja uma métrica importante para medir a qualidade de um algoritmo de classificação, ele dá peso demais ao número de Falsos Negativos. Por outro lado, a Precisão foca no número de Falsos Positivos.
A combinação das duas na curva ROC permite medir tanto recall quanto precisão. A área sob a curva ROC é calculada como o score AUC.
Neste exercício, você vai calcular o score ROC/AUC para o modelo inicial usando a função roc_auc_score() do sklearn.
As variáveis features_test e target_test estão disponíveis no seu workspace.
Este exercício faz parte do curso
HR Analytics: prevendo rotatividade de funcionários em Python
Instruções do exercício
- Importe a função para calcular o score ROC/AUC.
- Use o modelo inicial para prever churn (com base nas variáveis do conjunto de teste).
- Calcule o score ROC/AUC comparando
target_testcom a previsão.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)