ROC și AUC pe datele de antrenament
Cât de bine surprind arborii agregați (bagged trees) structura setului tău de antrenament? Sunt mai buni decât arborii de decizie? Se supraantrenează? ROC și AUC sunt metode excelente pentru a evalua acest lucru.
În acest exercițiu, vei genera predicții pe datele de antrenament și vei calcula ROC și AUC. Fii atent – urmează câteva surprize!
Preîncărcate sunt rezultatul exercițiului anterior, model_bagged, și datele de antrenament, customers_train.
Acest exercițiu face parte din cursul
Machine Learning cu modele bazate pe arbori în R
Instrucțiuni pentru exercițiu
- Folosește
model_baggedpentru a genera predicții de tip probabilitate pe setul de antrenament și adaugă-le la tibble-ul de antrenament, salvând rezultatul capredictions. - Generează curba ROC pentru tibble-ul
predictionsși reprezintă-o grafic. - Calculează AUC pentru tibble-ul
predictions.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Predict on training set and add to training set
predictions <- ___(___,
new_data = ___,
type = "___") %>%
bind_cols(___)
# Create and plot the ROC curve
roc_curve(___,
estimate = ___,
truth = ___) %>% autoplot()
# Calculate the AUC
___(predictions,
estimate = ___,
truth = ___)