Вычисление ROC/AUC-оценки
Метрика Recall важна для оценки качества классификации, однако она уделяет слишком много внимания количеству ложноотрицательных результатов. Метрика Precision, напротив, сосредоточена на количестве ложноположительных результатов.
ROC-кривая объединяет оба показателя и позволяет оценить как полноту, так и точность модели. Площадь под ROC-кривой рассчитывается как AUC-оценка.
В этом упражнении вы вычислите ROC/AUC-оценку для исходной модели с помощью функции roc_auc_score() из библиотеки sklearn.
Переменные features_test и target_test уже доступны в вашем рабочем пространстве.
Это упражнение является частью курса
HR-аналитика: прогнозирование текучести кадров на Python
Инструкции к упражнению
- Импортируйте функцию для вычисления ROC/AUC-оценки.
- Используйте исходную модель, чтобы предсказать отток сотрудников (на основе признаков тестовой выборки).
- Вычислите ROC/AUC-оценку, сравнив
target_testс полученным предсказанием.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)