Bevor wir Modelle validieren können, müssen wir verstehen, wie man sie erstellt und damit arbeitet. Dieses Kapitel führt in Regressions- und Klassifikationsmodelle mit scikit-learn ein. Auf dieser Grundlage für den Modellaufbau bauen die weiteren Kapitel auf.

Einführung in die Modellvalidierung

Modellierungsschritte

Gesehene vs. ungesehene Daten

Regressionsmodelle

Parameter setzen und ein Modell fitten

Feature-Importances

Klassifikationsmodelle

Klassifikationsvorhersagen

Modellparameter wiederverwenden

Random-Forest-Klassifikator

Grundlagen des Modellierens mit scikit-learn

In diesem Kapitel geht es um die Grundlagen der Modellvalidierung. Vom Aufteilen der Daten in Trainings-, Validierungs- und Testdatensätze bis hin zum Verständnis des Bias-Variance-Trade-offs legen wir die Basis für die in Kapitel drei geübten Techniken K-Fold und Leave-One-Out.

Train-, Test- und Validierungsdatensätze erstellen

Erstelle ein Holdout-Set

Erstelle zwei Holdout-Sets

Warum Holdout-Sets verwenden

Genauigkeitsmetriken: Regressionsmodelle

Mittlerer absoluter Fehler

Mittlerer quadratischer Fehler

Leistung auf Datenteilmengen

Klassifikationsmetriken

Confusion-Matrizen

Noch einmal: Confusion-Matrizen

Precision vs. Recall

Der Bias-Varianz-Trade-off

Fehler durch Under-/Overfitting

Underfitte ich?

Validierungsgrundlagen

Holdout-Sets sind ein guter Einstieg in die Modellvalidierung. Ein einzelnes Train-/Test-Set reicht jedoch oft nicht aus. Cross-Validation gilt als Goldstandard zur Validierung der Modellleistung und wird fast immer beim Tuning von Modell-Hyperparametern eingesetzt. Dieses Kapitel konzentriert sich auf die Durchführung von Cross-Validation zur Validierung der Modellperformance.

Die Tücken von Holdout-Sets

Zwei Stichproben

Mögliche Probleme

Cross-Validation

scikit-learns KFold()

KFold-Indizes verwenden

sklearns cross_val_score()

Methoden in scikit-learn

cross_val_score() implementieren

Leave-One-Out-Cross-Validation (LOOCV)

Wann LOOCV verwenden

Leave-one-out-Cross-Validation

Die ersten drei Kapitel haben sich auf Validierungstechniken konzentriert. In Kapitel 4 wenden wir diese Techniken – insbesondere Cross-Validation – an und lernen dabei Hyperparameter-Tuning kennen. Denn Modellvalidierung macht Tuning erst möglich und hilft uns, das insgesamt beste Modell auszuwählen.

Einführung in das Hyperparameter-Tuning

Hyperparameter erstellen

Ein Modell mit Wertebereichen ausführen

RandomizedSearchCV

Vorbereitung für RandomizedSearch

RandomizedSearchCV implementieren

Dein finales Modell auswählen

Beste Klassifikationsgenauigkeit

Das beste Präzisionsmodell auswählen

Kurs abgeschlossen!

Das beste Modell per Hyperparameter-Tuning auswählen.

Candy dataset

Tic-Tac-Toe dataset

Machine-Learning-Modelle lassen sich heute einfacher implementieren als je zuvor. Ohne geeignete Validierung sind die Ergebnisse beim Anwenden eines Modells auf neue Daten oft weniger genau als erwartet. Modellvalidierung ermöglicht es Analyst:innen, die Frage „Wie gut ist dein Modell?“ verlässlich zu beantworten. Wir beantworten diese Frage für Klassifikationsmodelle mit dem vollständigen Satz an Tic-Tac-Toe-Endspielszenarien und für Regressionsmodelle mit fivethirtyeights Ultimate Halloween Candy Power Ranking Datensatz. In diesem Kurs behandeln wir die Grundlagen der Modellvalidierung, besprechen verschiedene Validierungstechniken und beginnen, Werkzeuge für validierte und leistungsstarke Modelle zu entwickeln.

Supervised Learning with scikit-learn

Lerne Modellvalidierung, Techniken und erstelle validierte, leistungsstarke Modelle.

Modellvalidierung in Python

Du lernst die Grundlagen der Modellvalidierung sowie Validierungstechniken und erstellst erste validierte und leistungsstarke Modelle.

Wissenschaftler für maschinelles Lernen in Python

Warum Holdout-Sets verwenden

Modellvalidierung in Python

Interaktive Übung