IniziaInizia gratis

Calcolare la specificità

Usare misure diverse per le prestazioni del modello ti permette di valutarlo in modo più accurato. Esistono varie metriche per casi d'uso differenti. La specificità misura la proporzione di esiti negativi veri identificati correttamente:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Questa formula implica che, con una specificità che si avvicina al 100%, il numero di falsi positivi (FP) tende a 0.

In questo esercizio, esaminerai la specificità out-of-sample del tuo modello con la cross-validation.

Sono già precaricati i dati di training del dataset dei clienti con carta di credito, customers_train, e una specifica di albero di decisione, tree_spec, generata con il seguente codice:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Questo esercizio fa parte del corso

Machine Learning con modelli ad albero in R

Visualizza il corso

Istruzioni dell'esercizio

  • Crea tre fold di CV di customers_train e salvali come folds.
  • Calcola la specificity con cross-validation usando la funzione fit_resamples() che prende la tua specifica tree_spec, una formula del modello, i fold di CV e un set di metriche appropriato. Usa tutti i predittori per prevedere still_customer, salvando i risultati in specificities.
  • Aggrega i risultati usando un'unica funzione.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Modifica ed esegui il codice