Kom igångKom igång gratis

Beräkna specificitet

Genom att använda olika mått för modellens prestanda kan du bedöma den mer noggrant. Det finns flera mått för olika användningsområden. Specificitet mäter andelen sanna negativa utfall som identifieras korrekt:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Formeln innebär att när specificiteten närmar sig 100 % minskar antalet falska positiva (FP) mot 0.

I den här övningen ska du undersöka out-of-sample-specificiteten hos din modell med hjälp av korsvalidering.

Förladdat finns träningsdata från datamängden med kreditkortskunder, customers_train, samt en beslutsträdsspecifikation, tree_spec, som genererades med följande kod:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Den här övningen är en del av kursen

Maskininlärning med trädbaserade modeller i R

Visa kurs

Övningsinstruktioner

  • Skapa tre korsvalideringsfolds av customers_train och spara dem som folds.
  • Beräkna korsvaliderad specificity med funktionen fit_resamples(), som tar din specifikation tree_spec, en modellformel, korsvalideringsfolds och en lämplig mängd mått. Använd alla prediktorer för att förutsäga still_customer och spara resultaten i specificities.
  • Aggregera resultaten med en enda funktion.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Redigera och kör kod