Calcolare lo score ROC/AUC
Sebbene il punteggio di Recall sia un indicatore importante per valutare l’accuratezza di un algoritmo di classificazione, dà troppo peso al numero di Falsi Negativi. Al contrario, la Precision si concentra sul numero di Falsi Positivi.
La combinazione di questi due aspetti nella curva ROC permette di misurare sia recall sia precision. L’area sotto la curva ROC si calcola come punteggio AUC.
In questo esercizio calcolerai lo score ROC/AUC per il modello iniziale usando la funzione roc_auc_score() di sklearn.
Le variabili features_test e target_test sono disponibili nel tuo workspace.
Questo esercizio fa parte del corso
HR Analytics: prevedere l'abbandono dei dipendenti in Python
Istruzioni dell'esercizio
- Importa la funzione per calcolare lo score ROC/AUC.
- Usa il modello iniziale per prevedere il churn (basandoti sulle feature del set di test).
- Calcola lo score ROC/AUC confrontando
target_testcon la previsione.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)