1. Nauka
    2. /
  2. Kursy
    3. /
  3. Uczenie maszynowe z modelami drzewiastymi w R
Connected

ćwiczenie

Oblicz specyficzność

Korzystanie z różnych miar oceny modelu pozwala dokładniej zbadać jego działanie. Istnieje kilka metryk przeznaczonych do różnych zastosowań. Specyficzność mierzy odsetek poprawnie zidentyfikowanych wyników prawdziwie negatywnych:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Z powyższego wzoru wynika, że gdy specyficzność dąży do 100%, liczba wyników fałszywie pozytywnych (FP) dąży do 0.

W tym ćwiczeniu zbadasz specyficzność pozapróbkową swojego modelu za pomocą walidacji krzyżowej.

Wstępnie wczytane zostały dane treningowe zbioru klientów kart kredytowych, customers_train, oraz specyfikacja drzewa decyzyjnego, tree_spec, wygenerowana poniższym kodem:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Instrukcje

100 XP
  • Utwórz trzy podziały CV na podstawie customers_train i zapisz je jako folds.
  • Oblicz specificity metodą walidacji krzyżowej, używając funkcji fit_resamples(), która przyjmuje specyfikację tree_spec, formułę modelu, podziały CV oraz odpowiedni zestaw metryk. Użyj wszystkich predyktorów, aby przewidzieć still_customer, a wyniki zapisz w specificities.
  • Zagreguj wyniki za pomocą jednej funkcji.