In-sample ROC a AUC
Jak dobře bagged trees zachycují strukturu trénovací sady? Jsou lepší než rozhodovací stromy? Přetrénují se? ROC a AUC jsou skvělým nástrojem, jak to zjistit.
V tomto cvičení vygeneruješ in-sample předpovědi a vypočítáš jejich ROC a AUC. Pozor, čeká tě překvapení!
K dispozici máš výsledek předchozího cvičení, model_bagged, a trénovací data, customers_train.
Toto cvičení je součástí kurzu
Machine Learning with Tree-Based Models in R
Pokyny k cvičení
- Pomocí
model_baggedvygeneruj předpovědi pravděpodobností na trénovací sadě a přidej je do tibble trénovacích dat – výsledek ulož jakopredictions. - Vygeneruj ROC křivku z tibble
predictionsa výsledek vykresli. - Vypočítej AUC z tibble
predictions.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Predict on training set and add to training set
predictions <- ___(___,
new_data = ___,
type = "___") %>%
bind_cols(___)
# Create and plot the ROC curve
roc_curve(___,
estimate = ___,
truth = ___) %>% autoplot()
# Calculate the AUC
___(predictions,
estimate = ___,
truth = ___)