Začněte nyníZačněte zdarma

Výpočet specificity

Použití různých metrik pro hodnocení výkonu modelu ti umožní přesnější posouzení jeho kvality. Pro různé účely existuje celá řada metrik. Specificita měří podíl skutečně negativních výsledků, které model správně identifikoval:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Z tohoto vzorce plyne, že čím více se specificita blíží 100 %, tím více se počet falešně pozitivních výsledků (FP) blíží nule.

V tomto cvičení prozkoumáš out-of-sample specifičnost svého modelu pomocí křížové validace.

Předem jsou načtena trénovací data ze souboru zákazníků kreditních karet, customers_train, a specifikace rozhodovacího stromu, tree_spec, vygenerovaná následujícím kódem:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Toto cvičení je součástí kurzu

Machine Learning with Tree-Based Models in R

Zobrazit kurz

Pokyny k cvičení

  • Vytvoř tři CV folds z datasetu customers_train a ulož je jako folds.
  • Vypočítej křížově validovanou specificity pomocí funkce fit_resamples(), která přijímá specifikaci tree_spec, vzorec modelu, CV folds a příslušnou sadu metrik. Pro predikci still_customer použij všechny prediktory a výsledky ulož do specificities.
  • Agreguj výsledky pomocí jediné funkce.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Upravit a spustit kód