Обчислення показника ROC/AUC
Хоча показник Recall є важливою метрикою для вимірювання точності алгоритму класифікації, він надто зосереджується на кількості False Negatives. Натомість Precision зосереджена на кількості False Positives.
Поєднання цих двох метрик у кривій ROC дає змогу оцінювати і recall, і precision. Площа під кривою ROC обчислюється як показник AUC.
У цій вправі ви обчислите значення ROC/AUC для початкової моделі за допомогою функції sklearn roc_auc_score().
Змінні features_test та target_test доступні у вашому робочому середовищі.
Ця вправа є частиною курсу
HR Analytics: прогнозування плинності персоналу в Python
Інструкції до вправи
- Імпортуйте функцію для обчислення показника ROC/AUC.
- Використайте початкову модель, щоб передбачити плинність кадрів (churn) на основі ознак тестової вибірки.
- Обчисліть показник ROC/AUC, порівнявши
target_testіз прогнозом.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)