CommencezCommencez gratuitement

Calculer la spécificité

Utiliser différentes mesures de performance de modèle vous permet de l'évaluer plus précisément. Il existe plusieurs métriques selon les cas d'utilisation. La spécificité mesure la proportion de vrais négatifs correctement identifiés :

$$\text{specificity} = \frac{TN}{TN + FP}$$

Cette formule implique qu'avec une spécificité qui se rapproche de 100 %, le nombre de faux positifs (FP) se rapproche de 0.

Dans cet exercice, vous allez examiner la spécificité hors échantillon de votre modèle à l'aide de la validation croisée.

Sont préchargés : les données d'entraînement de l'ensemble de clients de cartes de crédit, customers_train, et une spécification d'arbre de décision, tree_spec, générée au moyen du code suivant :

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Cette activité fait partie du cours

Machine Learning avec des modèles arborescents en R

Voir le cours

Instructions de l’exercice

  • Créez trois plis de validation croisée (CV) à partir de customers_train et enregistrez-les dans folds.
  • Calculez la specificity validée par CV avec la fonction fit_resamples() qui prend votre spécification tree_spec, une formule de modèle, les plis de CV et un ensemble de mesures approprié. Utilisez tous les prédicteurs pour prédire still_customer, et enregistrez les résultats dans specificities.
  • Regroupez les résultats à l'aide d'une seule fonction.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Modifier et exécuter le code