Kroswalidacja
Kroswalidacja to sprytna metoda pozwalająca uniknąć przeuczenia modelu. W tym ćwiczeniu obliczysz dokładność z użyciem kroswalidacji.
Wszystko jest już gotowe – zbiór danych defaultData i model czekają na ciebie. Funkcję dokładności znajdziesz w pierwszych kilku liniach kodu. To twoja funkcja kosztu – zostaw ją bez zmian i użyj jej w wywołaniu cv.glm() poniżej. Do dzieła!
To ćwiczenie jest częścią kursu
Uczenie maszynowe w analizie marketingowej w R
Instrukcje do ćwiczenia
Użyj 6-krotnej kroswalidacji i oblicz dokładność dla modelu
logitModelNew. Potrzebna funkcja tocv.glm()z pakietuboot. Dokładność uzyskana metodą kroswalidacji jest zapisana na pierwszej pozycji elementudeltaw wynikowym obiekcie.Porównaj dokładność z kroswalidacji z dokładnością uzyskaną podczas walidacji na danych treningowych. Przypomnij sobie – wynosiła ona
0.7922901.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
library(boot)
# Accuracy function
costAcc <- function(r, pi = 0) {
cm <- confusion.matrix(r, pi, threshold = 0.3)
acc <- sum(diag(cm)) / sum(cm)
return(acc)
}
# Cross validated accuracy for logitModelNew
set.seed(534381)
cv.glm(___, ___, cost = ___, K = ___)$delta[1]