Evaluiere den optimalen Baum

In dieser Übung bewertest du die Punktzahl der Testmenge ROC AUC des optimalen Modells von grid_dt.

Dazu bestimmst du zunächst die Wahrscheinlichkeit, dass du für jede Beobachtung der Testmenge das positive Label erhältst. Du kannst die Methodepredict_proba() eines sklearn-Klassifikators verwenden, um ein 2D-Array zu berechnen, das die Wahrscheinlichkeiten der negativen bzw. positiven Klassenlabels entlang der Spalten enthält.

Der Datensatz ist bereits für dich geladen und verarbeitet (numerische Merkmale sind standardisiert); er ist in 80% Training und 20% Test aufgeteilt. X_test y_test sind in deinem Arbeitsbereich verfügbar. Außerdem haben wir das trainierte GridSearchCV Objekt grid_dt geladen, das du in der vorherigen Übung instanziiert hast. Beachte, dass grid_dt wie folgt trainiert wurde:

grid_dt.fit(X_train, y_train)

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Anleitung zur Übung

Importiere roc_auc_score von sklearn.metrics.
Extrahiere das Attribut .best_estimator_ aus grid_dt und weise es best_model zu.
Sage die Wahrscheinlichkeiten für die positive Klasse der Testmenge y_pred_proba voraus.
Berechne die Punktzahl der Testmenge ROC AUC test_roc_auc von best_model.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Import roc_auc_score from sklearn.metrics
____

# Extract the best estimator
best_model = ____

# Predict the test set probabilities of the positive class
y_pred_proba = ____

# Compute test_roc_auc
test_roc_auc = ____

# Print test_roc_auc
print('Test set ROC AUC score: {:.3f}'.format(test_roc_auc))

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

Klassifizierungs- und Regressionsbäume (CART) sind eine Gruppe von überwachten Lernmodellen, die für Klassifizierungs- und Regressionsprobleme verwendet werden. In diesem Kapitel lernst du den CART Algorithmus kennen.

Exercise 1: Entscheidungsbaum für die Klassifizierung Exercise 2: Trainiere deinen ersten Klassifikationsbaum Exercise 3: Bewerten Sie den Klassifikationsbaum Exercise 4: Logistische Regression vs. Klassifikationsbaum Exercise 5: Klassifizierungsbaum Lernen Exercise 6: Wachsen eines Klassifikationsbaums Exercise 7: Entropie als Kriterium verwenden Exercise 8: Entropie vs. Gini-Index Exercise 9: Entscheidungsbaum für Regression Exercise 10: Trainiere deinen ersten Regressionsbaum Exercise 11: Evaluiere den Regressionsbaum Exercise 12: Lineare Regression vs. Regressionsbaum

Der Kompromiss zwischen Verzerrung und Varianz ist eines der grundlegenden Konzepte beim überwachten maschinellen Lernen. In diesem Kapitel erfährst du, wie du die Probleme von Overfitting und Underfitting diagnostizieren kannst. Außerdem lernst du das Konzept des Ensembling kennen, bei dem die Vorhersagen mehrerer Modelle zusammengefasst werden, um robustere Vorhersagen zu erhalten.

Exercise 1: Generalisierungsfehler Exercise 2: Komplexität, Verzerrung und Varianz Exercise 3: Überanpassung und Unteranpassung Exercise 4: Diagnose von Verzerrungen und Varianzproblemen Exercise 5: Das Modell instanziieren Exercise 6: Beurteile den 10-fachen CV Fehler Exercise 7: Beurteile den Trainingsfehler Exercise 8: Hohe Verzerrung oder hohe Varianz?Exercise 9: Ensemble Learning Exercise 10: Definiere das Ensemble Exercise 11: Einzelne Klassifikatoren evaluieren Exercise 12: Bessere Leistung mit einem Voting Classifier

Bagging ist eine Ensemble-Methode, bei der derselbe Algorithmus viele Male mit verschiedenen Teilmengen aus den Trainingsdaten trainiert wird. In diesem Kapitel erfährst du, wie du mit Hilfe von Bagging ein Baumensemble erstellen kannst. Du erfährst auch, wie der Random-Forest-Algorithmus durch Randomisierung auf der Ebene der einzelnen Splits in den Bäumen, die das Ensemble bilden, zu einer weiteren Diversität des Ensembles führen kann.

Exercise 1: Absacken Exercise 2: Definiere den Bagging-Klassifikator Exercise 3: Bewertung der Bagging-Leistung Exercise 4: Out of Bag Bewertung Exercise 5: Bereite den Boden vor Exercise 6: OOB Ergebnis vs. Test Set Ergebnis Exercise 7: Random Forests (RF)Exercise 8: Trainiere einen RF Regressor Exercise 9: Evaluiere den RF Regressor Exercise 10: Visualisierung der Bedeutung von Merkmalen

Boosting bezieht sich auf eine Ensemble-Methode, bei der mehrere Modelle nacheinander trainiert werden, wobei jedes Modell aus den Fehlern seiner Vorgänger lernt. In diesem Kapitel lernst du die beiden Boosting-Methoden AdaBoost und Gradient Boosting kennen.

Exercise 1: Adaboost Exercise 2: Definiere den AdaBoost-Klassifikator Exercise 3: Trainiere den AdaBoost-Klassifikator Exercise 4: Evaluiere den AdaBoost-Klassifikator Exercise 5: Gradient Boosting (GB)Exercise 6: Definiere den Regressor GB Exercise 7: Trainiere den GB Regressor Exercise 8: Evaluiere den GB Regressor Exercise 9: Stochastisches Gradient Boosting (SGB)Exercise 10: Regression mit SGB Exercise 11: Trainiere den SGB Regressor Exercise 12: Evaluiere den SGB Regressor

Die Hyperparameter eines maschinellen Lernmodells sind Parameter, die nicht aus den Daten gelernt werden. Sie sollten festgelegt werden, bevor das Modell an die Trainingsmenge angepasst wird. In diesem Kapitel erfährst du, wie du die Hyperparameter eines baumbasierten Modells mithilfe der Kreuzvalidierung durch Rastersuche abstimmst.

Exercise 1: Abstimmung der Hyperparameter einer CART Exercise 2: Baum-Hyperparameter Exercise 3: Das Hyperparameter-Raster des Baums festlegen Exercise 4: Suche nach dem optimalen Baum Exercise 5: Evaluiere den optimalen Baum

Aktuelle Übung

Exercise 6: Abstimmung der Hyperparameter einer RF Exercise 7: Hyperparameter für Zufallswälder Exercise 8: Lege das Hyperparameter-Raster von RF Exercise 9: Suche nach dem optimalen Wald Exercise 10: Bewerten Sie den optimalen Wald Exercise 11: Herzlichen Glückwunsch!