CommencerCommencer gratuitement

Calculer la spécificité

Utiliser différentes mesures de performance vous permet d’évaluer un modèle plus précisément. Il existe plusieurs métriques selon les cas d’usage. La spécificité mesure la proportion de vrais négatifs correctement identifiés :

$$\text{specificity} = \frac{TN}{TN + FP}$$

Cette formule implique que lorsque la spécificité se rapproche de 100 %, le nombre de faux positifs (FP) tend vers 0.

Dans cet exercice, vous allez examiner la spécificité hors échantillon de votre modèle avec une validation croisée.

Sont préchargés : les données d’entraînement du jeu de données des clients de cartes de crédit, customers_train, et une spécification d’arbre de décision, tree_spec, générée avec le code suivant :

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Cet exercice fait partie du cours

Machine Learning avec des modèles à base d’arbres en R

Afficher le cours

Instructions

  • Créez trois plis de CV de customers_train et enregistrez-les dans folds.
  • Calculez la specificity en validation croisée à l’aide de la fonction fit_resamples() qui prend votre spécification tree_spec, une formule de modèle, les plis de CV, et un ensemble de métriques approprié. Utilisez tous les prédicteurs pour prédire still_customer, et enregistrez les résultats dans specificities.
  • Agrégez les résultats en utilisant une seule fonction.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Modifier et exécuter le code