Aan de slagGa gratis aan de slag

Specificity berekenen

Door verschillende maten voor modelprestatie te gebruiken, kun je die nauwkeuriger beoordelen. Er zijn meerdere metriekken voor verschillende use-cases. Specificity meet het aandeel true negatives dat correct wordt herkend:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Deze formule betekent dat als specificity richting 100% gaat, het aantal false positives (FP) naar 0 gaat.

In deze oefening onderzoek je de out-of-sample specificity van je model met cross-validatie.

Vooraf geladen zijn de trainingsgegevens van de creditcardklantengegevensset, customers_train, en een beslisboom-specificatie, tree_spec, die is aangemaakt met de volgende code:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Deze oefening maakt deel uit van de cursus

Machine Learning met boomgebaseerde modellen in R

Cursus bekijken

Oefeninstructies

  • Maak drie CV-folds van customers_train en sla die op als folds.
  • Bereken cross-validated specificity met de functie fit_resamples() die je specificatie tree_spec, een modelformule, de CV-folds en een passende metric set gebruikt. Gebruik alle voorspellers om still_customer te voorspellen en sla de resultaten op in specificities.
  • Vat de resultaten samen met één functie.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Code bewerken en uitvoeren