Logistische Regression vs. Klassifikationsbaum

Ein Klassifikationsbaum unterteilt den Merkmalsraum in rechteckige Regionen. Im Gegensatz dazu erzeugt ein lineares Modell wie die logistische Regression nur eine einzige lineare Entscheidungsgrenze, die den Merkmalsraum in zwei Entscheidungsregionen teilt.

Wir haben eine benutzerdefinierte Funktion namens plot_labeled_decision_regions() geschrieben, mit der du die Entscheidungsbereiche einer Liste mit zwei trainierten Klassifikatoren darstellen kannst. Du kannst help(plot_labeled_decision_regions) in der Shell eingeben, um mehr über diese Funktion zu erfahren.

X_train, X_test, y_train, y_test, das Modell dt, das du in einer früheren Übung trainiert hast, sowie die Funktion plot_labeled_decision_regions() sind in deinem Arbeitsbereich verfügbar.

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Anleitung zur Übung

Importiere LogisticRegression von sklearn.linear_model.
Instanziere ein LogisticRegression Modell und weise es logreg zu.
Passe logreg an die Trainingsmenge an.
Überprüfe die von plot_labeled_decision_regions() erstellte Grafik.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Import LogisticRegression from sklearn.linear_model
from ____.____ import  ____

# Instatiate logreg
____ = ____(random_state=1)

# Fit logreg to the training set
____.____(____, ____)

# Define a list called clfs containing the two classifiers logreg and dt
clfs = [logreg, dt]

# Review the decision regions of the two classifiers
plot_labeled_decision_regions(X_test, y_test, clfs)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

Klassifizierungs- und Regressionsbäume (CART) sind eine Gruppe von überwachten Lernmodellen, die für Klassifizierungs- und Regressionsprobleme verwendet werden. In diesem Kapitel lernst du den CART Algorithmus kennen.

Exercise 1: Entscheidungsbaum für die Klassifizierung Exercise 2: Trainiere deinen ersten Klassifikationsbaum Exercise 3: Bewerten Sie den Klassifikationsbaum Exercise 4: Logistische Regression vs. Klassifikationsbaum

Aktuelle Übung

Exercise 5: Klassifizierungsbaum Lernen Exercise 6: Wachsen eines Klassifikationsbaums Exercise 7: Entropie als Kriterium verwenden Exercise 8: Entropie vs. Gini-Index Exercise 9: Entscheidungsbaum für Regression Exercise 10: Trainiere deinen ersten Regressionsbaum Exercise 11: Evaluiere den Regressionsbaum Exercise 12: Lineare Regression vs. Regressionsbaum

Der Kompromiss zwischen Verzerrung und Varianz ist eines der grundlegenden Konzepte beim überwachten maschinellen Lernen. In diesem Kapitel erfährst du, wie du die Probleme von Overfitting und Underfitting diagnostizieren kannst. Außerdem lernst du das Konzept des Ensembling kennen, bei dem die Vorhersagen mehrerer Modelle zusammengefasst werden, um robustere Vorhersagen zu erhalten.

Exercise 1: Generalisierungsfehler Exercise 2: Komplexität, Verzerrung und Varianz Exercise 3: Überanpassung und Unteranpassung Exercise 4: Diagnose von Verzerrungen und Varianzproblemen Exercise 5: Das Modell instanziieren Exercise 6: Beurteile den 10-fachen CV Fehler Exercise 7: Beurteile den Trainingsfehler Exercise 8: Hohe Verzerrung oder hohe Varianz?Exercise 9: Ensemble Learning Exercise 10: Definiere das Ensemble Exercise 11: Einzelne Klassifikatoren evaluieren Exercise 12: Bessere Leistung mit einem Voting Classifier

Bagging ist eine Ensemble-Methode, bei der derselbe Algorithmus viele Male mit verschiedenen Teilmengen aus den Trainingsdaten trainiert wird. In diesem Kapitel erfährst du, wie du mit Hilfe von Bagging ein Baumensemble erstellen kannst. Du erfährst auch, wie der Random-Forest-Algorithmus durch Randomisierung auf der Ebene der einzelnen Splits in den Bäumen, die das Ensemble bilden, zu einer weiteren Diversität des Ensembles führen kann.

Exercise 1: Absacken Exercise 2: Definiere den Bagging-Klassifikator Exercise 3: Bewertung der Bagging-Leistung Exercise 4: Out of Bag Bewertung Exercise 5: Bereite den Boden vor Exercise 6: OOB Ergebnis vs. Test Set Ergebnis Exercise 7: Random Forests (RF)Exercise 8: Trainiere einen RF Regressor Exercise 9: Evaluiere den RF Regressor Exercise 10: Visualisierung der Bedeutung von Merkmalen

Boosting bezieht sich auf eine Ensemble-Methode, bei der mehrere Modelle nacheinander trainiert werden, wobei jedes Modell aus den Fehlern seiner Vorgänger lernt. In diesem Kapitel lernst du die beiden Boosting-Methoden AdaBoost und Gradient Boosting kennen.

Exercise 1: Adaboost Exercise 2: Definiere den AdaBoost-Klassifikator Exercise 3: Trainiere den AdaBoost-Klassifikator Exercise 4: Evaluiere den AdaBoost-Klassifikator Exercise 5: Gradient Boosting (GB)Exercise 6: Definiere den Regressor GB Exercise 7: Trainiere den GB Regressor Exercise 8: Evaluiere den GB Regressor Exercise 9: Stochastisches Gradient Boosting (SGB)Exercise 10: Regression mit SGB Exercise 11: Trainiere den SGB Regressor Exercise 12: Evaluiere den SGB Regressor

Die Hyperparameter eines maschinellen Lernmodells sind Parameter, die nicht aus den Daten gelernt werden. Sie sollten festgelegt werden, bevor das Modell an die Trainingsmenge angepasst wird. In diesem Kapitel erfährst du, wie du die Hyperparameter eines baumbasierten Modells mithilfe der Kreuzvalidierung durch Rastersuche abstimmst.

Exercise 1: Abstimmung der Hyperparameter einer CART Exercise 2: Baum-Hyperparameter Exercise 3: Das Hyperparameter-Raster des Baums festlegen Exercise 4: Suche nach dem optimalen Baum Exercise 5: Evaluiere den optimalen Baum Exercise 6: Abstimmung der Hyperparameter einer RF Exercise 7: Hyperparameter für Zufallswälder Exercise 8: Lege das Hyperparameter-Raster von RF Exercise 9: Suche nach dem optimalen Wald Exercise 10: Bewerten Sie den optimalen Wald Exercise 11: Herzlichen Glückwunsch!