Validation croisée
La validation croisée est une méthode astucieuse pour éviter le surapprentissage, comme vous avez pu le voir. Dans cet exercice, vous allez calculer la précision avec validation croisée.
Vous pouvez commencer : les données defaultData et le modèle sont prêts. Vous trouverez la fonction de précision dans les premières lignes de code. C'est votre fonction de coût. Laissez-la telle quelle et utilisez-la dans votre appel à cv.glm() ci-dessous. À vous d'essayer !
Cet exercice fait partie du cours
<cours>Machine Learning for Marketing Analytics in R</cours>Instructions de l’exercice
Utilisez une validation croisée en 6 plis et calculez la précision pour le modèle
logitModelNew. La fonction à utiliser estcv.glm()du packageboot. La précision avec validation croisée est stockée à la première position de l'élémentdeltadu résultat.Comparez votre précision issue de la validation croisée à celle de la validation in-sample. Rappelez-vous, elle était de
0.7922901.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
library(boot)
# Accuracy function
costAcc <- function(r, pi = 0) {
cm <- confusion.matrix(r, pi, threshold = 0.3)
acc <- sum(diag(cm)) / sum(cm)
return(acc)
}
# Cross validated accuracy for logitModelNew
set.seed(534381)
cv.glm(___, ___, cost = ___, K = ___)$delta[1]