Zacznij terazZacznij za darmo

Oblicz specyficzność

Korzystanie z różnych miar oceny modelu pozwala dokładniej zbadać jego działanie. Istnieje kilka metryk przeznaczonych do różnych zastosowań. Specyficzność mierzy odsetek poprawnie zidentyfikowanych wyników prawdziwie negatywnych:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Z powyższego wzoru wynika, że gdy specyficzność dąży do 100%, liczba wyników fałszywie pozytywnych (FP) dąży do 0.

W tym ćwiczeniu zbadasz specyficzność pozapróbkową swojego modelu za pomocą walidacji krzyżowej.

Wstępnie wczytane zostały dane treningowe zbioru klientów kart kredytowych, customers_train, oraz specyfikacja drzewa decyzyjnego, tree_spec, wygenerowana poniższym kodem:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w R

Zobacz kurs

Instrukcje do ćwiczenia

  • Utwórz trzy podziały CV na podstawie customers_train i zapisz je jako folds.
  • Oblicz specificity metodą walidacji krzyżowej, używając funkcji fit_resamples(), która przyjmuje specyfikację tree_spec, formułę modelu, podziały CV oraz odpowiedni zestaw metryk. Użyj wszystkich predyktorów, aby przewidzieć still_customer, a wyniki zapisz w specificities.
  • Zagreguj wyniki za pomocą jednej funkcji.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create CV folds of the training data
folds <- ___(customers_train, v = ___)

# Calculate CV specificity
specificities <- ___(___, 
                     ___,
                     resamples = ___,
                     metrics = ___)

# Collect the metrics
___(specificities)
Edytuj i uruchom kod