Obliczanie wskaźnika ROC/AUC
Wskaźnik Recall jest ważną miarą oceny skuteczności algorytmu klasyfikacji, jednak kładzie zbyt duży nacisk na liczbę fałszywie negatywnych wyników. Z kolei Precision skupia się na liczbie fałszywie pozytywnych wyników.
Połączenie obu tych miar daje krzywą ROC, która pozwala ocenić zarówno recall, jak i precision. Pole pod krzywą ROC obliczane jest jako wskaźnik AUC.
W tym ćwiczeniu obliczysz wskaźnik ROC/AUC dla modelu wyjściowego, korzystając z funkcji roc_auc_score() z biblioteki sklearn.
Zmienne features_test i target_test są dostępne w twoim środowisku pracy.
To ćwiczenie jest częścią kursu
HR Analytics: Przewidywanie rotacji pracowników w Pythonie
Instrukcje do ćwiczenia
- Zaimportuj funkcję do obliczania wskaźnika ROC/AUC.
- Użyj modelu wyjściowego, aby przewidzieć odejście pracowników (na podstawie cech ze zbioru testowego).
- Oblicz wskaźnik ROC/AUC, porównując
target_testz uzyskaną prognozą.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)