LoslegenKostenlos starten

Auf Overfitting prüfen

Eine sehr hohe In-Sample-AUC wie \(99.9\%\) kann ein Hinweis auf Overfitting sein. Es ist auch möglich, dass dein Datensatz einfach sehr gut strukturiert ist – oder dein Modell ist einfach großartig!

Um herauszufinden, was davon zutrifft, brauchst du Out-of-Sample-Schätzungen deiner AUC. Da du dein Test-Set noch nicht anfassen willst, kannst du diese per Cross-Validation auf deinem Trainings-Set erzeugen.

Deine Trainingsdaten, customers_train, und die Bagged-Tree-Spezifikation, spec_bagged, sind weiterhin in deinem Workspace verfügbar.

Diese Übung ist Teil des Kurses

<Kurs>Maschinelles Lernen mit baumbasierten Modellen in R</Kurs>
Kurs ansehen

Übungsanweisungen

  • Schätze mit fit_resamples() deine roc_auc-Metrik mithilfe von drei CV-Folds deines Trainings-Sets und der Modellformel still_customer ~ total_trans_amt + customer_age + education_level.
  • Sammle die Metriken des Ergebnisses, um die AUC anzuzeigen.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

set.seed(55)

# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
                            ___, 
                            resamples = vfold_cv(___),
                            metrics = ___)

# Collect metrics
___(cv_results)
Code bearbeiten und ausführen