Validation croisée
La validation croisée est une méthode astucieuse pour éviter le surapprentissage, comme vous avez pu le constater. Dans cet exercice, vous allez calculer la précision avec validation croisée.
Vous pouvez commencer tout de suite : les données nécessaires defaultData et le modèle sont prêts. Vous trouverez la fonction de précision dans les premières lignes de code. C'est votre fonction de coût. Laissez-la telle quelle et utilisez-la dans votre appel à cv.glm() ci-dessous. À vous d'essayer!
Cette activité fait partie du cours
Machine Learning for Marketing Analytics in R
Instructions de l’exercice
Utilisez une validation croisée à 6 plis et calculez la précision pour le modèle
logitModelNew. La fonction à utiliser estcv.glm()du paquetboot. La précision validée croisée est stockée à la première position de l'élémentdeltadu résultat.Comparez votre précision de la validation croisée à celle de la validation intraéchantillon. Rappelez-vous, elle était de
0.7922901.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
library(boot)
# Accuracy function
costAcc <- function(r, pi = 0) {
cm <- confusion.matrix(r, pi, threshold = 0.3)
acc <- sum(diag(cm)) / sum(cm)
return(acc)
}
# Cross validated accuracy for logitModelNew
set.seed(534381)
cv.glm(___, ___, cost = ___, K = ___)$delta[1]