Przygotowanie do oceny wydajności z walidacją krzyżową
Teraz, gdy wiesz już, jak obliczać metryki wydajności dla pojedynczego modelu, możesz rozszerzyć tę analizę na wszystkie podziały (foldy) w ramce danych walidacji krzyżowej.
To ćwiczenie jest częścią kursu
Uczenie maszynowe w tidyverse
Instrukcje do ćwiczenia
- Dodaj binarną kolumnę
validate_actualdla każdego podziału walidacji krzyżowej, zamieniając wszystkie wartości"Yes"naTRUE. - Użyj kolumny
model, aby przewidzieć prawdopodobieństwa odejścia pracownika dla każdego podziałuvalidate. Przekonwertuj przewidywane prawdopodobieństwa na wektor binarny, traktując wszystkie wartości większe niż 0.5 jako TRUE. Nadaj tej kolumnie nazwęvalidate_predicted.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
cv_prep_lr <- cv_models_lr %>%
mutate(
# Prepare binary vector of actual Attrition values in validate
validate_actual = map(validate, ~.x$___ == "___"),
# Prepare binary vector of predicted Attrition values for validate
validate_predicted = map2(.x = ___, .y = ___, ~predict(.x, .y, type = "response") > ___)
)