Construire un modèle de régression pas à pas

En l'absence d'expertise métier, la régression pas à pas peut aider à trouver les prédicteurs les plus importants pour la cible étudiée.

Dans cet exercice, vous utiliserez une approche ascendante (forward) pour ajouter les prédicteurs au modèle un à un jusqu'à ce qu'aucun gain supplémentaire ne soit observé. Le jeu de données donors a été chargé pour vous.

Cette activité fait partie du cours

Apprentissage supervisé en R : Classification

Voir le cours

Instructions de l’exercice

Utilisez l'interface de formules de R avec glm() pour définir le modèle de base sans prédicteurs. Affectez la variable explicative à 1.
Utilisez de nouveau l'interface de formules de R avec glm() pour définir le modèle avec tous les prédicteurs.
Appliquez step() à ces modèles pour effectuer une régression pas à pas ascendante. Définissez le premier argument à null_model et direction = "forward". Cela peut prendre un moment (jusqu'à 10 ou 15 secondes), car votre ordinateur doit ajuster plusieurs modèles pour réaliser la sélection pas à pas.
Créez un vecteur de probabilités prédites avec la fonction predict().
Tracez la courbe ROC avec roc() et plot() et calculez l'AUC du modèle pas à pas avec auc().

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Specify a null model with no predictors
null_model <- ___(___, data = ___, family = "___")

# Specify the full model using all of the potential predictors
full_model <- ___

# Use a forward stepwise algorithm to build a parsimonious model
step_model <- step(___, scope = list(lower = null_model, upper = full_model), direction = "___")

# Estimate the stepwise donation probability
step_prob <- ___

# Plot the ROC of the stepwise model
library(pROC)
ROC <- ___
plot(___, col = "red")
auc(___)

Modifier et exécuter le code