ROC-/AUC-Score berechnen
Auch wenn der Recall-Score eine wichtige Kennzahl zur Bewertung der Genauigkeit eines Klassifikationsalgorithmus ist, gewichtet er die Anzahl der False Negatives zu stark. Precision hingegen fokussiert sich auf die Anzahl der False Positives.
Die Kombination dieser beiden in der ROC-Kurve ermöglicht es, sowohl Recall als auch Precision zu berücksichtigen. Die Fläche unter der ROC-Kurve wird als AUC-Score berechnet.
In dieser Übung berechnest du den ROC-/AUC-Score für das initiale Modell mit der sklearn-Funktion roc_auc_score().
Die Variablen features_test und target_test stehen dir in deinem Workspace zur Verfügung.
Diese Übung ist Teil des Kurses
HR Analytics: Mitarbeiterfluktuation mit Python vorhersagen
Anleitung zur Übung
- Importiere die Funktion zur Berechnung des ROC-/AUC-Scores.
- Verwende das initiale Modell, um Churn vorherzusagen (basierend auf den Merkmalen des Testsets).
- Berechne den ROC-/AUC-Score, indem du
target_testmit der Vorhersage vergleichst.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)