LoslegenKostenlos starten

In-Sample-ROC und -AUC

Wie gut erfassen gebaggte Trees die Struktur deines Trainingssatzes? Sind sie besser als Entscheidungsbäume? Überanpassen sie? ROC und AUC sind eine tolle Möglichkeit, das zu beurteilen.

In dieser Übung erzeugst du diese In-Sample-Vorhersagen und berechnest ihre ROC und AUC. Ohren auf – es gibt Überraschungen!

Vorab geladen sind das Ergebnis der vorherigen Übung, model_bagged, und die Trainingsdaten customers_train.

Diese Übung ist Teil des Kurses

<Kurs>Maschinelles Lernen mit baumbasierten Modellen in R</Kurs>
Kurs ansehen

Übungsanweisungen

  • Verwende model_bagged, um Wahrscheinlichkeits-Vorhersagen mit deinem Trainingssatz zu erzeugen, füge sie dem Trainingstibble hinzu und speichere das Ergebnis als predictions.
  • Erzeuge die ROC-Kurve des predictions-Tibbles und plotte das Ergebnis.
  • Berechne die AUC des predictions-Tibbles.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Predict on training set and add to training set
predictions <- ___(___,
                   new_data = ___, 
                   type = "___") %>% 
    bind_cols(___)

# Create and plot the ROC curve
roc_curve(___,
          estimate = ___,
          truth = ___) %>% autoplot()

# Calculate the AUC
___(predictions,
    estimate = ___, 
    truth = ___)
Code bearbeiten und ausführen