Einen Parameter eines Random-Forest extrahieren

Du überträgst nun die zuvor geleistete Arbeit am Logistikregressionsmodell auf ein Random-Forest-Modell. Ein Parameter dieses Modells ist – für einen gegebenen Baum –, wie er sich auf jeder Ebene für einen Split entschieden hat.

Diese Analyse ist nicht so nützlich wie die Koeffizienten der Logistikregression, da du vermutlich niemals jeden Split und jeden Baum in einem Random-Forest-Modell untersuchen wirst. Sie ist jedoch eine sehr hilfreiche Übung, um einen Blick unter die Haube zu werfen und zu verstehen, was das Modell tut.

In dieser Übung extrahieren wir einen einzelnen Baum aus unserem Random-Forest-Modell, visualisieren ihn und extrahieren programmatisch einen der Splits.

Dir stehen zur Verfügung:

Ein Random-Forest-Modellobjekt, rf_clf
Ein Bild des oberen Teils des ausgewählten Entscheidungsbaums, tree_viz_image
Das DataFrame X_train und die Liste original_variables

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Anleitung zur Übung

Extrahiere den 7. Baum (Index 6) aus dem Random-Forest-Modell.
Visualisiere diesen Baum (tree_viz_image), um die Split-Entscheidungen zu sehen.
Extrahiere das Feature und die Schwelle des obersten Splits.
Gib Feature und Schwelle zusammen aus.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Extract the 7th (index 6) tree from the random forest
chosen_tree = rf_clf.estimators_[____]

# Visualize the graph using the provided image
imgplot = plt.imshow(____)
plt.show()

# Extract the parameters and level of the top (index 0) node
split_column = chosen_tree.tree_.feature[____]
split_column_name = X_train.columns[split_column]
split_value = chosen_tree.tree_.threshold[____]

# Print out the feature and level
print("This node split on feature {}, at a value of {}".format(split_column_name, ____))

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

In diesem einführenden Kapitel lernst du den Unterschied zwischen Hyperparametern und Parametern kennen. Du übst, Parameter zu extrahieren und zu analysieren und Hyperparameter-Werte für mehrere beliebte Machine-Learning-Algorithmen festzulegen. Dabei lernst du Best Practices und Tricks, welche Hyperparameter du tunen solltest, welche Werte sinnvoll sind und wie du Learning Curves erstellst, um deine Hyperparameter-Auswahl zu bewerten.

Exercise 1: Einführung & „Parameter“Exercise 2: Parameter in der logistischen Regression Exercise 3: Einen Parameter der logistischen Regression extrahieren Exercise 4: Einen Parameter eines Random-Forest extrahieren

Aktuelle Übung

Exercise 5: Einführung in Hyperparameter Exercise 6: Hyperparameter in Random Forests Exercise 7: Random-Forest-Hyperparameter erkunden Exercise 8: Hyperparameter von KNN Exercise 9: Hyperparameterwerte festlegen und analysieren Exercise 10: Hyperparameterwahl automatisieren Exercise 11: Lernkurven erstellen

Dieses Kapitel führt dich in eine beliebte Methode des automatisierten Hyperparameter-Tunings ein: die Grid Search. Du lernst, was sie ist, wie sie funktioniert, und übst, eine Grid Search mit Scikit-Learn durchzuführen. Anschließend lernst du, die Ergebnisse einer Grid Search zu analysieren und sammelst praktische Erfahrung dabei.

Exercise 1: Einführung in Grid Search Exercise 2: Grid-Search-Funktionen erstellen Exercise 3: Mehrere Hyperparameter iterativ abstimmen Exercise 4: Wie viele Modelle?Exercise 5: Grid Search mit Scikit-Learn Exercise 6: GridSearchCV-Eingaben Exercise 7: GridSearchCV mit Scikit Learn Exercise 8: Ein Grid-Search-Output verstehen Exercise 9: Die besten Ergebnisse nutzen Exercise 10: Die Grid-Search-Ergebnisse erkunden Exercise 11: Die besten Ergebnisse analysieren Exercise 12: Die besten Ergebnisse nutzen

In diesem Kapitel lernst du eine weitere verbreitete Methode des automatisierten Hyperparameter-Tunings kennen: die Random Search. Du erfährst, was sie ist, wie sie funktioniert und vor allem, wie sie sich von der Grid Search unterscheidet. Du lernst Vor- und Nachteile dieses Verfahrens und wann du es gegenüber der Grid Search wählen solltest. Außerdem übst du die Durchführung einer Random Search mit Scikit-Learn sowie die Visualisierung und Interpretation der Ergebnisse.

Exercise 1: Einführung in Random Search Exercise 2: Hyperparameter zufällig sampeln Exercise 3: Zufällig suchen mit Random Forest Exercise 4: Einen Random Search visualisieren Exercise 5: Random Search in Scikit Learn Exercise 6: RandomSearchCV: Eingaben Exercise 7: Das RandomizedSearchCV-Objekt Exercise 8: RandomizedSearchCV in Scikit Learn Exercise 9: Grid Search und Random Search vergleichen Exercise 10: Random Search vs. Grid Search Exercise 11: Grid Search und Random Search im direkten Vergleich

Im letzten Kapitel bekommst du einen Einblick in fortgeschrittene Hyperparameter-Tuning-Methoden, die als „informed search“ bekannt sind. Dazu zählen ein Vorgehen namens Coarse to Fine sowie Bayes-Optimierung und genetische Algorithmen. Du lernst, wie sich informed search von uninformed search unterscheidet, und erwirbst praktische Fähigkeiten mit den genannten Methoden, während du sie vergleichst und gegenüberstellst.

Exercise 1: Informed Search: Vom Groben zum Feinen Exercise 2: Coarse to Fine visualisieren Exercise 3: Coarse-to-Fine-Iterationen Exercise 4: Informierte Suche: Bayes’sche Statistik Exercise 5: Bayes-Regel in Python Exercise 6: Bayessches Hyperparameter-Tuning mit Hyperopt Exercise 7: Informierte Suche: Genetische Algorithmen Exercise 8: Genetisches Hyperparameter-Tuning mit TPOT Exercise 9: Analyse der Stabilität von TPOT Exercise 10: Glückwunsch!