In-sample ROC en AUC
Hoe goed leggen bagged trees de structuur van je trainingsset vast? Doen ze het beter dan decision trees? Overfitten ze? ROC en AUC zijn een geweldige manier om dat te beoordelen.
In deze oefening ga je in-sample voorspellingen genereren en de ROC en AUC berekenen. Let op, er zitten verrassingen bij!
Vooraf ingeladen zijn het resultaat van de vorige oefening, model_bagged, en de trainingsdata, customers_train.
Deze oefening maakt deel uit van de cursus
Machine Learning met boomgebaseerde modellen in R
Oefeninstructies
- Gebruik
model_baggedom kansvoorspellingen te genereren met je trainingsset en voeg die toe aan de trainings-tibble; sla het resultaat op alspredictions. - Genereer de ROC-curve van de
predictions-tibble en plot het resultaat. - Bereken de AUC van de
predictions-tibble.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Predict on training set and add to training set
predictions <- ___(___,
new_data = ___,
type = "___") %>%
bind_cols(___)
# Create and plot the ROC curve
roc_curve(___,
estimate = ___,
truth = ___) %>% autoplot()
# Calculate the AUC
___(predictions,
estimate = ___,
truth = ___)