AUC vergleichen

Der Vergleich verschiedener Modelle ist der Kern der Modellwahl. In den letzten beiden Übungen führst du einen Modellvergleich über alle im Kurs behandelten Modelltypen durch: Entscheidungsbäume, Bagging-Bäume, Random Forests und Gradient Boosting.

Alle Modelle wurden perfekt getuned, auf demselben Trainingssatz customers_train trainiert und es wurden Vorhersagen für den Datensatz customers_test gemacht. Die Ergebnisse sind numerische Wahrscheinlichkeiten und in deiner Session als preds_combined verfügbar:

tibble [1,011 × 5]
 $ preds_tree    : 0.144 0.441 ...
 $ preds_bagging : 0.115 0.326 ...
 $ preds_forest  : 0 0 0 0.286 ...
 $ preds_boosting: 0.136 0.149 ...
 $ still_customer: "no","no", ...

Diese Übung ist Teil des Kurses

<Kurs>Maschinelles Lernen mit baumbasierten Modellen in R</Kurs>

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Calculate the AUC for each model
auc_tree   <- ___(preds_combined, truth = ___, estimate = ___)
auc_bagged <- ___(preds_combined, truth = ___, estimate = ___)
auc_forest <- ___(preds_combined, truth = ___, estimate = ___)
auc_boost  <- ___(preds_combined, truth = ___, estimate = ___)

# Print the results
auc_tree
auc_bagged
auc_forest
auc_boost

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

<Kurs>Maschinelles Lernen mit baumbasierten Modellen in R</Kurs>

Geringe SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

Bereit, eine echte Machine-Learning-Pipeline zu bauen? Bearbeite Schritt-für-Schritt-Übungen, um Entscheidungsbäume zu erstellen, deine Daten zu splitten und vorherzusagen, welche Patientinnen und Patienten am wahrscheinlichsten an Diabetes erkranken. Zum Schluss baust du Leistungskennzahlen auf, um deine Modelle zu bewerten und Vorhersagen einzuordnen.

Exercise 1: Willkommen im Kurs!Exercise 2: Warum baumbasierte Methoden?Exercise 3: Spezifiziere diesen Baum Exercise 4: Trainiere das Modell Exercise 5: So wächst dein Baum Exercise 6: Train/Test-Split Exercise 7: Klassenungleichgewichte vermeiden Exercise 8: Vom Start zum Profi Exercise 9: Vorhersagen und evaluieren Exercise 10: Vorhersagen erstellen Exercise 11: Die Matrix knacken Exercise 12: Triffst du die richtigen Vorhersagen?

Lust auf etwas Süßes? Nutze einen Datensatz mit Schokoladenbewertungen, um Regressionsbäume zu bauen und ihre Leistung mit geeigneten Fehlermassen zu beurteilen. Statistische Unsicherheiten einzelner Train/Test-Splits überwindest du mit süßen Techniken wie Cross-Validation und tauchst dann noch tiefer in den Bias-Variance-Trade-off ein.

Exercise 1: Stetige Zielgrößen Exercise 2: Trainiere einen Regressionsbaum Exercise 3: Neue Werte vorhersagen Exercise 4: Modellausgabe prüfen Exercise 5: Leistungsmetriken für Regressionsbäume Exercise 6: In-Sample-Leistung Exercise 7: Out-of-sample-Performance Exercise 8: Größere Fehler, größere Strafe Exercise 9: Cross-Validation Exercise 10: Folds erstellen Exercise 11: Folds fitten Exercise 12: Die Folds auswerten Exercise 13: Bias-Variance-Trade-off Exercise 14: Nenn die Dinge beim Namen Exercise 15: Modellkomplexität anpassen Exercise 16: Performance innerhalb und außerhalb der Stichprobe

Zeit, die Hyperparameter ernsthaft zu tunen und ROC-Kurven (Receiver Operating Characteristic) zu interpretieren. In diesem Kapitel nutzt du die Weisheit der Vielen mit Ensemble-Modellen wie Bagging oder Random Forests und baust Ensembles, die vorhersagen, welche Kreditkartenkundinnen und -kunden am ehesten abwandern.

Exercise 1: Hyperparameter abstimmen Exercise 2: Erzeuge ein Tuning-Grid Exercise 3: Entlang des Grids tunen Exercise 4: Wähle den Gewinner Exercise 5: Weitere Modellmaße Exercise 6: Spezifität berechnen Exercise 7: Zeichne die ROC-Kurve Exercise 8: Fläche unter der ROC-Kurve Exercise 9: Gebündelte Bäume Exercise 10: Erstelle Bagging-Bäume Exercise 11: In-Sample-ROC und -AUC Exercise 12: Auf Overfitting prüfen Exercise 13: Random Forest Exercise 14: Bagging-Bäume vs. Random Forest Exercise 15: Variablenwichtigkeit

Bereit für die Königsklasse der baumbasierten Modelle? Setze Gradient Boosting ein, um starke Ensembles zu erstellen, die alles Bisherige übertreffen. Lerne, wie du sie feinabstimmst und verschiedene Modelle vergleichst, um eine Gewinnerlösung für die Produktion auszuwählen.

Exercise 1: Einführung in Boosting Exercise 2: Bagging vs. Boosting Exercise 3: Ein Boosting-Ensemble spezifizieren Exercise 4: Gradient Boosting Exercise 5: Ein Boosting-Ensemble trainieren Exercise 6: Das Ensemble bewerten Exercise 7: Vergleiche mit einem einzelnen Klassifikator Exercise 8: Das Boosting-Ensemble optimieren Exercise 9: Tuning vorbereiten Exercise 10: Das eigentliche Tuning Exercise 11: Modell finalisieren Exercise 12: Modellvergleich Exercise 13: AUC vergleichen

Aktuelle Übung

Exercise 14: ROC-Kurven plotten Exercise 15: Abschluss