De ROC/AUC-score berekenen
Hoewel de Recall-score een belangrijke maat is voor de nauwkeurigheid van een classificatie-algoritme, legt die te veel nadruk op het aantal False Negatives. Precision daarentegen richt zich op het aantal False Positives.
De combinatie van die twee levert de ROC-curve op, waarmee we zowel recall als precision kunnen meten. De oppervlakte onder de ROC-curve is de AUC-score.
In deze oefening bereken je de ROC/AUC-score voor het initiële model met de sklearn-functie roc_auc_score().
De variabelen features_test en target_test zijn beschikbaar in je werkruimte.
Deze oefening maakt deel uit van de cursus
HR-analytics: verloop van medewerkers voorspellen in Python
Oefeninstructies
- Importeer de functie om de ROC/AUC-score te berekenen.
- Gebruik het initiële model om churn te voorspellen (op basis van de kenmerken van de testset).
- Bereken de ROC/AUC-score door
target_testte vergelijken met de voorspelling.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)