Качество подгонки полной модели на обучающих данных
Снова время практики! Вернёмся к учебному набору данных defaultData.
Теперь вам нужно оценить качество модели, вычислив точность классификации. Для этого сначала постройте матрицу ошибок.
Начните с модели logitModelFull. Она уже задана и доступна в вашей рабочей среде.
Это упражнение является частью курса
Машинное обучение для маркетинговой аналитики на R
Инструкции к упражнению
- Используйте функцию
predict(), чтобы получить вероятность дефолта по платежу для каждого клиента. - Для построения матрицы ошибок используйте функцию
confusion.matrix()из пакетаSDMTools. Обратите внимание: пакетSDMToolsбольше недоступен в CRAN. Если вы хотите практиковаться на своём компьютере, установите его командойremotes::install_version("SDMTools", "1.1-221.2")— это установит версию пакета, которая используется в данном курсе. - Задайте стандартный порог классификации 0,5.
- Вычислите точность классификации на основе матрицы ошибок.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Make predictions using the full Model
defaultData$predFull <- predict(logitModelFull, type = ___, na.action = ___)
# Construct the in-sample confusion matrix
confMatrixModelFull <- confusion.matrix(defaultData$___,defaultData$___, threshold = ___)
confMatrixModelFull
# Calculate the accuracy for the full Model
accuracyFull <- sum(diag(___)) / ___(___)
accuracyFull