Personnaliser l'évaluation de votre modèle

Créer des fonctions d'évaluation personnalisées est très pratique quand vous itérez sur divers modèles. La fonction metric_set() du paquet yardstick peut vous y aider.

Définissez une fonction qui retourne roc_auc, accuracy, sens (sensibilité) et spec (spécificité), puis utilisez-la pour évaluer votre modèle.

La trame de données augmentée lr_aug est déjà chargée et prête à être utilisée.

Cette activité fait partie du cours

Ingénierie des caractéristiques en R

Voir le cours

Instructions de l’exercice

Définissez une fonction d'évaluation personnalisée qui retourne roc_auc, accuracy, sens et spec.
Évaluez votre modèle avec votre nouvelle fonction sur lr_aug pour obtenir les mesures que vous venez de choisir.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Define a custom assessment function 
class_evaluate <- ___(___, ___, sens, ___)

# Assess your model using your new function
___(___, truth = Attrition,
               estimate = .pred_class,
               .pred_No)

Modifier et exécuter le code

Ingénierie des caractéristiques en R

SkillTag.level.intermediateSkillTag.label

4.8+

149 reviews

Vous conclurez le cours en étudiant des techniques d'ingénierie des caractéristiques et de Machine Learning. Vous commencerez par vous pencher sur les problèmes liés à l'utilisation de toutes les caractéristiques disponibles dans un modèle et sur l'importance de repérer les caractéristiques non pertinentes et redondantes, puis d'apprendre à les enlever à l'aide de méthodes intégrées comme le lasso et l'elastic net. Ensuite, vous explorerez des méthodes de rétrécissement comme le lasso, la crête (ridge) et l'elastic net, qui peuvent servir à régulariser les poids des caractéristiques ou à sélectionner des caractéristiques en mettant certains coefficients à zéro. Enfin, vous terminerez en créant un enchaînement complet d'ingénierie des caractéristiques et en passant en revue, puis en pratiquant, les concepts et fonctions vus précédemment dans un petit projet.

Exercise 1: Réduire les caractéristiques du modèle Exercise 2: Passer au crible l'importance des variables Exercise 3: Évaluer la performance du modèle avec tous les prédicteurs disponibles Exercise 4: Créer un modèle réduit Exercise 5: Méthodes de rétrécissement Exercise 6: Régularisation manuelle avec Lasso Exercise 7: Ajuster le paramètre penalty Exercise 8: Finaliser le modèle Exercise 9: Mettre le tout ensemble Exercise 10: Préparer et partitionner Exercise 11: Prétraitement Exercise 12: Modèle Exercise 13: Évaluer Exercise 14: Félicitations !