Évaluer la performance du modèle avec tous les prédicteurs disponibles

Pour évaluer la performance de votre modèle réduit, il est important d'établir une référence. Mesurez la performance de votre modèle complet pour bien comprendre le compromis associé à un modèle réduit. Rappelez-vous le graphique d'importance des variables que vous avez créé dans un exercice précédent.

Bar chart of variable importance.

Les divisions train et test, ainsi que votre fonction personnalisée class_evaluate(), sont chargées dans votre environnement. Votre modèle ajusté a été enregistré sous fit_full. Les divisions train et test, ainsi que votre fonction personnalisée class_evaluate(), sont chargées dans votre environnement.

Cette activité fait partie du cours

Ingénierie des caractéristiques en R

Voir le cours

Instructions de l’exercice

Créez un objet « augmented » à partir du modèle complet ajusté.
Évaluez la performance du modèle à l'aide de class_evaluate.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create an augmented object from the fitted full model
aug_full <-
  fit_full %>%
  ___(test)

# Assess model performance using class_evaluate
aug_full %>% ___(truth = ___, 
               estimate = .pred_class,
               .pred_Yes)

Modifier et exécuter le code

Ingénierie des caractéristiques en R

SkillTag.level.intermediateSkillTag.label

4.8+

149 reviews

Vous conclurez le cours en étudiant des techniques d'ingénierie des caractéristiques et de Machine Learning. Vous commencerez par vous pencher sur les problèmes liés à l'utilisation de toutes les caractéristiques disponibles dans un modèle et sur l'importance de repérer les caractéristiques non pertinentes et redondantes, puis d'apprendre à les enlever à l'aide de méthodes intégrées comme le lasso et l'elastic net. Ensuite, vous explorerez des méthodes de rétrécissement comme le lasso, la crête (ridge) et l'elastic net, qui peuvent servir à régulariser les poids des caractéristiques ou à sélectionner des caractéristiques en mettant certains coefficients à zéro. Enfin, vous terminerez en créant un enchaînement complet d'ingénierie des caractéristiques et en passant en revue, puis en pratiquant, les concepts et fonctions vus précédemment dans un petit projet.

Exercise 1: Réduire les caractéristiques du modèle Exercise 2: Passer au crible l'importance des variables Exercise 3: Évaluer la performance du modèle avec tous les prédicteurs disponibles

Exercice en cours

Exercise 4: Créer un modèle réduit Exercise 5: Méthodes de rétrécissement Exercise 6: Régularisation manuelle avec Lasso Exercise 7: Ajuster le paramètre penalty Exercise 8: Finaliser le modèle Exercise 9: Mettre le tout ensemble Exercise 10: Préparer et partitionner Exercise 11: Prétraitement Exercise 12: Modèle Exercise 13: Évaluer Exercise 14: Félicitations !