LoslegenKostenlos starten

Spezifität berechnen

Mit verschiedenen Kennzahlen zur Modellgüte kannst du die Performance genauer beurteilen. Es gibt mehrere Metriken für unterschiedliche Anwendungsfälle. Spezifität misst den Anteil der korrekt erkannten true negatives:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Diese Formel bedeutet: Wenn die Spezifität gegen 100 % geht, nähert sich die Zahl der False Positives (FP) dem Wert 0.

In dieser Übung untersuchst du die Out-of-Sample-Spezifität deines Modells mit Cross-Validation.

Vorab geladen sind die Trainingsdaten des Datensatzes zu Kreditkartenkund:innen, customers_train, sowie eine Entscheidungsbaum-Spezifikation, tree_spec, die mit folgendem Code erzeugt wurde:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Diese Übung ist Teil des Kurses

<Kurs>Maschinelles Lernen mit baumbasierten Modellen in R</Kurs>
Kurs ansehen

Übungsanweisungen

  • Erzeuge drei CV-Folds von customers_train und speichere sie als folds.
  • Berechne die per Cross-Validation ermittelte specificity mit der Funktion fit_resamples(), die deine Spezifikation tree_spec, eine Modellformel, die CV-Folds und ein passendes Metric-Set entgegennimmt. Verwende alle Prädiktoren, um still_customer vorherzusagen, und speichere die Ergebnisse in specificities.
  • Aggregiere die Ergebnisse mit einer einzigen Funktion.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Code bearbeiten und ausführen