Bereite den Boden vor

In den folgenden Übungen vergleichst du die Genauigkeit von OOB mit der Genauigkeit eines Bagging-Klassifikators, der mit dem Datensatz "Indian Liver Patient" trainiert wurde.

In sklearn kannst du die OOB Genauigkeit eines Ensemble-Klassifikators bewerten, indem du bei der Instanziierung den Parameter oob_score auf True setzt. Nach dem Training des Klassifikators kann die OOB Genauigkeit durch den Zugriff auf das .oob_score_ Attribut der entsprechenden Instanz ermittelt werden.

In deiner Umgebung haben wir die Klasse DecisionTreeClassifier von sklearn.tree zur Verfügung gestellt.

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Anleitung zur Übung

Importiere BaggingClassifier von sklearn.ensemble.
Erstelle eine DecisionTreeClassifier mit min_samples_leaf und setze sie auf 8.
Erstelle eine BaggingClassifier bestehend aus 50 Bäumen und setze oob_score auf True.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# Import BaggingClassifier
____

# Instantiate dt
dt = ____(min_samples_leaf=____, random_state=1)

# Instantiate bc
bc = ____(base_estimator=____, 
            n_estimators=____,
            oob_score=____,
            random_state=1)

Bearbeiten und Ausführen von Code

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

Klassifizierungs- und Regressionsbäume (CART) sind eine Gruppe von überwachten Lernmodellen, die für Klassifizierungs- und Regressionsprobleme verwendet werden. In diesem Kapitel lernst du den CART Algorithmus kennen.

Exercise 1: Entscheidungsbaum für die Klassifizierung Exercise 2: Trainiere deinen ersten Klassifikationsbaum Exercise 3: Bewerten Sie den Klassifikationsbaum Exercise 4: Logistische Regression vs. Klassifikationsbaum Exercise 5: Klassifizierungsbaum Lernen Exercise 6: Wachsen eines Klassifikationsbaums Exercise 7: Entropie als Kriterium verwenden Exercise 8: Entropie vs. Gini-Index Exercise 9: Entscheidungsbaum für Regression Exercise 10: Trainiere deinen ersten Regressionsbaum Exercise 11: Evaluiere den Regressionsbaum Exercise 12: Lineare Regression vs. Regressionsbaum

Der Kompromiss zwischen Verzerrung und Varianz ist eines der grundlegenden Konzepte beim überwachten maschinellen Lernen. In diesem Kapitel erfährst du, wie du die Probleme von Overfitting und Underfitting diagnostizieren kannst. Außerdem lernst du das Konzept des Ensembling kennen, bei dem die Vorhersagen mehrerer Modelle zusammengefasst werden, um robustere Vorhersagen zu erhalten.

Exercise 1: Generalisierungsfehler Exercise 2: Komplexität, Verzerrung und Varianz Exercise 3: Überanpassung und Unteranpassung Exercise 4: Diagnose von Verzerrungen und Varianzproblemen Exercise 5: Das Modell instanziieren Exercise 6: Beurteile den 10-fachen CV Fehler Exercise 7: Beurteile den Trainingsfehler Exercise 8: Hohe Verzerrung oder hohe Varianz?Exercise 9: Ensemble Learning Exercise 10: Definiere das Ensemble Exercise 11: Einzelne Klassifikatoren evaluieren Exercise 12: Bessere Leistung mit einem Voting Classifier

Bagging ist eine Ensemble-Methode, bei der derselbe Algorithmus viele Male mit verschiedenen Teilmengen aus den Trainingsdaten trainiert wird. In diesem Kapitel erfährst du, wie du mit Hilfe von Bagging ein Baumensemble erstellen kannst. Du erfährst auch, wie der Random-Forest-Algorithmus durch Randomisierung auf der Ebene der einzelnen Splits in den Bäumen, die das Ensemble bilden, zu einer weiteren Diversität des Ensembles führen kann.

Exercise 1: Absacken Exercise 2: Definiere den Bagging-Klassifikator Exercise 3: Bewertung der Bagging-Leistung Exercise 4: Out of Bag Bewertung Exercise 5: Bereite den Boden vor

Aktuelle Übung

Exercise 6: OOB Ergebnis vs. Test Set Ergebnis Exercise 7: Random Forests (RF)Exercise 8: Trainiere einen RF Regressor Exercise 9: Evaluiere den RF Regressor Exercise 10: Visualisierung der Bedeutung von Merkmalen

Boosting bezieht sich auf eine Ensemble-Methode, bei der mehrere Modelle nacheinander trainiert werden, wobei jedes Modell aus den Fehlern seiner Vorgänger lernt. In diesem Kapitel lernst du die beiden Boosting-Methoden AdaBoost und Gradient Boosting kennen.

Exercise 1: Adaboost Exercise 2: Definiere den AdaBoost-Klassifikator Exercise 3: Trainiere den AdaBoost-Klassifikator Exercise 4: Evaluiere den AdaBoost-Klassifikator Exercise 5: Gradient Boosting (GB)Exercise 6: Definiere den Regressor GB Exercise 7: Trainiere den GB Regressor Exercise 8: Evaluiere den GB Regressor Exercise 9: Stochastisches Gradient Boosting (SGB)Exercise 10: Regression mit SGB Exercise 11: Trainiere den SGB Regressor Exercise 12: Evaluiere den SGB Regressor

Die Hyperparameter eines maschinellen Lernmodells sind Parameter, die nicht aus den Daten gelernt werden. Sie sollten festgelegt werden, bevor das Modell an die Trainingsmenge angepasst wird. In diesem Kapitel erfährst du, wie du die Hyperparameter eines baumbasierten Modells mithilfe der Kreuzvalidierung durch Rastersuche abstimmst.

Exercise 1: Abstimmung der Hyperparameter einer CART Exercise 2: Baum-Hyperparameter Exercise 3: Das Hyperparameter-Raster des Baums festlegen Exercise 4: Suche nach dem optimalen Baum Exercise 5: Evaluiere den optimalen Baum Exercise 6: Abstimmung der Hyperparameter einer RF Exercise 7: Hyperparameter für Zufallswälder Exercise 8: Lege das Hyperparameter-Raster von RF Exercise 9: Suche nach dem optimalen Wald Exercise 10: Bewerten Sie den optimalen Wald Exercise 11: Herzlichen Glückwunsch!