Křížová validace
Křížová validace je chytrá metoda, jak se vyhnout přetrénování modelu, jak sis mohl/a všimnout. V tomto cvičení spočítáš přesnost pomocí křížové validace.
Můžeš rovnou začít – data defaultData i model na tebe čekají. Funkci pro výpočet přesnosti najdeš v prvních několika řádcích kódu. Jde o tvoji cenovou funkci – nech ji tak, jak je, a použij ji ve svém volání cv.glm() níže. Vyzkoušej to!
Toto cvičení je součástí kurzu
Machine Learning for Marketing Analytics in R
Pokyny k cvičení
Proveď 6-násobnou křížovou validaci a vypočítej přesnost modelu
logitModelNew. Potřebná funkce jecv.glm()z balíčkuboot. Přesnost z křížové validace je uložena na první pozici prvkudeltavýsledku.Porovnej přesnost křížové validace s přesností z validace na trénovacích datech. Ta byla
0.7922901.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
library(boot)
# Accuracy function
costAcc <- function(r, pi = 0) {
cm <- confusion.matrix(r, pi, threshold = 0.3)
acc <- sum(diag(cm)) / sum(cm)
return(acc)
}
# Cross validated accuracy for logitModelNew
set.seed(534381)
cv.glm(___, ___, cost = ___, K = ___)$delta[1]