1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Machine Learning with Tree-Based Models in R
Connected

cvičení

Výpočet specificity

Použití různých metrik pro hodnocení výkonu modelu ti umožní přesnější posouzení jeho kvality. Pro různé účely existuje celá řada metrik. Specificita měří podíl skutečně negativních výsledků, které model správně identifikoval:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Z tohoto vzorce plyne, že čím více se specificita blíží 100 %, tím více se počet falešně pozitivních výsledků (FP) blíží nule.

V tomto cvičení prozkoumáš out-of-sample specifičnost svého modelu pomocí křížové validace.

Předem jsou načtena trénovací data ze souboru zákazníků kreditních karet, customers_train, a specifikace rozhodovacího stromu, tree_spec, vygenerovaná následujícím kódem:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Pokyny

100 XP
  • Vytvoř tři CV folds z datasetu customers_train a ulož je jako folds.
  • Vypočítej křížově validovanou specificity pomocí funkce fit_resamples(), která přijímá specifikaci tree_spec, vzorec modelu, CV folds a příslušnou sadu metrik. Pro predikci still_customer použij všechny prediktory a výsledky ulož do specificities.
  • Agreguj výsledky pomocí jediné funkce.