Перехресна перевірка
Як ви вже бачили, перехресна перевірка — це розумний спосіб уникнути перенавчання. У цій вправі ви обчислите перехресно перевірену точність.
Можете починати: потрібні дані defaultData та модель уже підготовлені. Функцію для обчислення точності знайдете в перших рядках коду. Це ваша функція втрат. Залиште її без змін і використайте у виклику cv.glm() нижче. Спробуйте!
Ця вправа є частиною курсу
Machine Learning для маркетингової аналітики в R
Інструкції до вправи
Виконайте 6-фолдну перехресну перевірку та обчисліть точність для моделі
logitModelNew. Потрібна функція —cv.glm()з пакетаboot. Перехресно перевірена точність зберігається в першій позиції елементаdeltaрезультату.Порівняйте отриману точність перехресної перевірки з точністю внутрішньої (in-sample) валідації. Нагадаємо, вона дорівнювала
0.7922901.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
library(boot)
# Accuracy function
costAcc <- function(r, pi = 0) {
cm <- confusion.matrix(r, pi, threshold = 0.3)
acc <- sum(diag(cm)) / sum(cm)
return(acc)
}
# Cross validated accuracy for logitModelNew
set.seed(534381)
cv.glm(___, ___, cost = ___, K = ___)$delta[1]