Personnalisez l’évaluation de votre modèle

Créer des fonctions d’évaluation personnalisées est très pratique lorsque vous itérez sur différents modèles. La fonction metric_set() du package yardstick peut vous y aider.

Définissez une fonction qui renvoie roc_auc, accuracy, sens (sensibilité) et spec (spécificité), puis utilisez-la pour évaluer votre modèle.

Le data frame augmenté lr_aug est déjà chargé et prêt à l’emploi.

Cet exercice fait partie du cours

Feature engineering en R

Afficher le cours

Instructions

Définissez une fonction d’évaluation personnalisée qui renvoie roc_auc, accuracy, sens et spec.
Évaluez votre modèle avec votre nouvelle fonction sur lr_aug pour obtenir les métriques que vous venez de choisir.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Define a custom assessment function 
class_evaluate <- ___(___, ___, sens, ___)

# Assess your model using your new function
___(___, truth = Attrition,
               estimate = .pred_class,
               .pred_No)

Modifier et exécuter le code

Feature engineering en R

IntermédiaireNiveau de compétence

4.8+

109 reviews

Vous terminerez le cours en découvrant des techniques de feature engineering et de Machine Learning. Vous commencerez par vous concentrer sur les problèmes liés à l’utilisation de toutes les variables disponibles dans un modèle et sur l’importance d’identifier les variables non pertinentes ou redondantes, puis d’apprendre à les supprimer à l’aide de méthodes intégrées comme le lasso et l’elastic‑net. Ensuite, vous explorerez des méthodes de rétrécissement comme le lasso, la ridge et l’elastic‑net, qui permettent de régulariser les poids des variables ou de sélectionner des variables en annulant certains coefficients. Enfin, vous construirez un flux de travail de feature engineering de bout en bout et réviserez les notions et fonctions vues précédemment dans un petit projet.

Exercise 1: Réduire les variables du modèle Exercise 2: Passer au crible l’importance des variables Exercise 3: Évaluer les performances du modèle avec tous les prédicteurs disponibles Exercise 4: Construire un modèle réduit Exercise 5: Méthodes de rétrécissement Exercise 6: Régularisation manuelle avec Lasso Exercise 7: Ajuster la pénalité Exercise 8: Finaliser le modèle Exercise 9: Réunir le tout Exercise 10: Préparer et découper Exercise 11: Prétraiter Exercise 12: Modèle Exercise 13: Évaluer Exercise 14: Félicitations !