Den optimalen Baum auswerten

In dieser Übung bewertest du den ROC-AUC-Score auf dem Testset für das optimale Modell von grid_dt.

Dafür bestimmst du zunächst die Wahrscheinlichkeit, für jede Beobachtung im Testset das positive Label zu erhalten. Mit der Methode predict_proba() eines sklearn-Klassifikators kannst du ein 2D-Array berechnen, das spaltenweise die Wahrscheinlichkeiten für die negative bzw. positive Klasse enthält.

Der Datensatz ist bereits für dich geladen und aufbereitet (numerische Merkmale sind standardisiert); er ist in 80 % Training und 20 % Test aufgeteilt. X_test, y_test stehen in deiner Arbeitsumgebung zur Verfügung. Zusätzlich haben wir das trainierte GridSearchCV-Objekt grid_dt geladen, das du in der vorherigen Übung erstellt hast. Beachte, dass grid_dt wie folgt trainiert wurde:

grid_dt.fit(X_train, y_train)

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Anleitung zur Übung

Importiere roc_auc_score aus sklearn.metrics.
Extrahiere das Attribut .best_estimator_ aus grid_dt und weise es best_model zu.
Sage die Testset-Wahrscheinlichkeiten für die positive Klasse in y_pred_proba voraus.
Berechne den ROC-AUC-Score auf dem Testset test_roc_auc von best_model.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Import roc_auc_score from sklearn.metrics
____

# Extract the best estimator
best_model = ____

# Predict the test set probabilities of the positive class
y_pred_proba = ____

# Compute test_roc_auc
test_roc_auc = ____

# Print test_roc_auc
print('Test set ROC AUC score: {:.3f}'.format(test_roc_auc))

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Maschinelles Lernen mit baumbasierten Modellen in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

Classification and Regression Trees (CART) sind eine Gruppe überwachter Lernmodelle für Klassifikations- und Regressionsaufgaben. In diesem Kapitel lernst du den CART-Algorithmus kennen.

Exercise 1: Entscheidungsbaum für Klassifikation Exercise 2: Trainiere deinen ersten Klassifikationsbaum Exercise 3: Den Klassifikationsbaum auswerten Exercise 4: Logistische Regression vs. Klassifikationsbaum Exercise 5: Lernen von Klassifikationsbäumen Exercise 6: Einen Klassifikationsbaum wachsen lassen Exercise 7: Entropie als Kriterium verwenden Exercise 8: Entropie vs. Gini-Index Exercise 9: Entscheidungsbaum für Regression Exercise 10: Trainiere deinen ersten Regressionsbaum Exercise 11: Bewerte den Regressionsbaum Exercise 12: Lineare Regression vs. Regressionsbaum

Der Bias-Variance-Trade-off gehört zu den Grundkonzepten des überwachten maschinellen Lernens. In diesem Kapitel lernst du, Overfitting und Underfitting zu erkennen. Außerdem lernst du das Konzept des Ensembling kennen, bei dem die Vorhersagen mehrerer Modelle aggregiert werden, um robustere Prognosen zu erzeugen.

Exercise 1: Generalisierungsfehler Exercise 2: Komplexität, Bias und Varianz Exercise 3: Overfitting und Underfitting Exercise 4: Bias- und Varianzprobleme diagnostizieren Exercise 5: Modell instanziieren Exercise 6: Bewerte den 10-fach-CV-Fehler Exercise 7: Trainingsfehler auswerten Exercise 8: Hohes Bias oder hohe Varianz?Exercise 9: Ensemble Learning Exercise 10: Das Ensemble definieren Exercise 11: Einzelne Klassifikatoren bewerten Exercise 12: Bessere Leistung mit einem Voting Classifier

Bagging ist eine Ensemble-Methode, bei der derselbe Algorithmus vielfach auf unterschiedlichen, aus den Trainingsdaten gezogenen Teilmengen trainiert wird. In diesem Kapitel erfährst du, wie sich mit Bagging ein Baum-Ensemble aufbauen lässt. Du lernst außerdem, wie der Random-Forests-Algorithmus durch zusätzliche Randomisierung bei jeder Aufteilung in den Bäumen des Ensembles noch mehr Vielfalt schafft.

Exercise 1: Bagging Exercise 2: Den Bagging-Classifier definieren Exercise 3: Leistung von Bagging auswerten Exercise 4: Out-of-Bag-Auswertung Exercise 5: Bereite den Boden vor Exercise 6: OOB-Score vs. Testsatz-Score Exercise 7: Random Forests (RF)Exercise 8: Einen RF-Regressor trainieren Exercise 9: Den RF-Regressor evaluieren Exercise 10: Feature-Wichtigkeiten visualisieren

Boosting bezeichnet eine Ensemble-Methode, bei der mehrere Modelle nacheinander trainiert werden, wobei jedes Modell aus den Fehlern seiner Vorgänger lernt. In diesem Kapitel lernst du die beiden Boosting-Methoden AdaBoost und Gradient Boosting kennen.

Exercise 1: Adaboost Exercise 2: Den AdaBoost-Klassifikator definieren Exercise 3: Den AdaBoost-Klassifikator trainieren Exercise 4: Den AdaBoost-Klassifikator auswerten Exercise 5: Gradient Boosting (GB)Exercise 6: Definiere den GB-Regressor Exercise 7: Den GB-Regressor trainieren Exercise 8: Den GB-Regressor evaluieren Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Regression mit SGB Exercise 11: Den SGB-Regressor trainieren Exercise 12: Bewerte den SGB-Regressor

Die Hyperparameter eines Machine-Learning-Modells sind Parameter, die nicht aus Daten gelernt werden. Sie werden vor dem Fitten des Modells auf den Trainingssatz festgelegt. In diesem Kapitel lernst du, wie du die Hyperparameter eines baumbasierten Modells mithilfe von Grid-Search-Cross-Validation abstimmst.

Exercise 1: Hyperparameter eines CART abstimmen Exercise 2: Baum-Hyperparameter Exercise 3: Lege das Hyperparameter-Grid des Baums fest Exercise 4: Suche nach dem optimalen Baum Exercise 5: Den optimalen Baum auswerten

Aktuelle Übung

Exercise 6: Hyperparameter eines RF abstimmen Exercise 7: Random-Forest-Hyperparameter Exercise 8: Lege das Hyperparameter-Grid des RF fest Exercise 9: Suche nach dem optimalen Forest Exercise 10: Den optimalen Forest auswerten Exercise 11: Glückwunsch!