Матрица ошибок
Когда зависимая переменная принимает только два значения — как в случае с оттоком клиентов — оценка качества модели сводится к двум вопросам: «сколько случаев оттока модель предсказала верно?» и «сколько случаев, когда клиент остался, модель предсказала верно?». Ответить на них поможет матрица ошибок и рассчитанные на её основе метрики.
Вспомните следующие определения:
Точность — доля правильных предсказаний. $$ \text{accuracy} = \frac{TN + TP}{TN + FN + FP + TP} $$
Чувствительность — доля истинно положительных наблюдений, которые модель правильно классифицировала как положительные. $$ \text{sensitivity} = \frac{TP}{TP + FN} $$
Специфичность — доля истинно отрицательных наблюдений, которые модель правильно классифицировала как отрицательные. $$ \text{specificity} = \frac{TN}{TN + FP} $$
Доступны объекты churn и mdl_churn_vs_both_inter.
Это упражнение является частью курса
Промежуточная регрессия со statsmodels в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Create conf_matrix
conf_matrix = ____
# Print it
print(conf_matrix)