Zufällig suchen mit Random Forest

Um dein Wissen zum Random Sampling zu festigen, machen wir eine ähnliche Übung, aber mit anderen Hyperparametern und einem anderen Algorithmus.

Erstelle wie zuvor einige Listen mit Hyperparametern, die zu einer Liste von Listen zusammengezippt werden können. Du verwendest die Hyperparameter criterion, max_depth und max_features des Random-Forest-Algorithmus. Dann ziehst du zufällig Kombinationen von Hyperparametern, um eine Random Search vorzubereiten.

Für das Sampling verwendest du in dieser Aufgabe ein leicht anderes Paket: random.sample().

Diese Übung ist Teil des Kurses

<Kurs>Hyperparameter-Tuning in Python</Kurs>

Übungsanweisungen

Erstelle Listen der Werte 'gini' und 'entropy' für criterion sowie "auto", "sqrt", "log2", None für max_features.
Erstelle eine Liste von Werten zwischen 3 und einschließlich 55 für den Hyperparameter max_depth und weise sie der Liste max_depth_list zu. Denk daran: range(N,M) erzeugt eine Liste von N bis M-1.
Kombiniere diese Listen mit product() zu einer Liste von Listen, aus der gesampelt wird.
Ziehe zufällig 150 Modelle aus der kombinierten Liste und gib das Ergebnis aus.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Create lists for criterion and max_features
criterion_list = ____
max_feature_list = ____

# Create a list of values for the max_depth hyperparameter
max_depth_list = list(range(____,____))

# Combination list
combinations_list = [list(x) for x in product(____, ____, ____)]

# Sample hyperparameter combinations for a random search
combinations_random_chosen = random.sample(____, ____)

# Print the result
print(____)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

<Kurs>Hyperparameter-Tuning in Python</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

In diesem einführenden Kapitel lernst du den Unterschied zwischen Hyperparametern und Parametern kennen. Du übst, Parameter zu extrahieren und zu analysieren und Hyperparameter-Werte für mehrere beliebte Machine-Learning-Algorithmen festzulegen. Dabei lernst du Best Practices und Tricks, welche Hyperparameter du tunen solltest, welche Werte sinnvoll sind und wie du Learning Curves erstellst, um deine Hyperparameter-Auswahl zu bewerten.

Exercise 1: Einführung & „Parameter“Exercise 2: Parameter in der logistischen Regression Exercise 3: Einen Parameter der logistischen Regression extrahieren Exercise 4: Einen Parameter eines Random-Forest extrahieren Exercise 5: Einführung in Hyperparameter Exercise 6: Hyperparameter in Random Forests Exercise 7: Random-Forest-Hyperparameter erkunden Exercise 8: Hyperparameter von KNN Exercise 9: Hyperparameterwerte festlegen und analysieren Exercise 10: Hyperparameterwahl automatisieren Exercise 11: Lernkurven erstellen

Dieses Kapitel führt dich in eine beliebte Methode des automatisierten Hyperparameter-Tunings ein: die Grid Search. Du lernst, was sie ist, wie sie funktioniert, und übst, eine Grid Search mit Scikit-Learn durchzuführen. Anschließend lernst du, die Ergebnisse einer Grid Search zu analysieren und sammelst praktische Erfahrung dabei.

Exercise 1: Einführung in Grid Search Exercise 2: Grid-Search-Funktionen erstellen Exercise 3: Mehrere Hyperparameter iterativ abstimmen Exercise 4: Wie viele Modelle?Exercise 5: Grid Search mit Scikit-Learn Exercise 6: GridSearchCV-Eingaben Exercise 7: GridSearchCV mit Scikit Learn Exercise 8: Ein Grid-Search-Output verstehen Exercise 9: Die besten Ergebnisse nutzen Exercise 10: Die Grid-Search-Ergebnisse erkunden Exercise 11: Die besten Ergebnisse analysieren Exercise 12: Die besten Ergebnisse nutzen

In diesem Kapitel lernst du eine weitere verbreitete Methode des automatisierten Hyperparameter-Tunings kennen: die Random Search. Du erfährst, was sie ist, wie sie funktioniert und vor allem, wie sie sich von der Grid Search unterscheidet. Du lernst Vor- und Nachteile dieses Verfahrens und wann du es gegenüber der Grid Search wählen solltest. Außerdem übst du die Durchführung einer Random Search mit Scikit-Learn sowie die Visualisierung und Interpretation der Ergebnisse.

Exercise 1: Einführung in Random Search Exercise 2: Hyperparameter zufällig sampeln Exercise 3: Zufällig suchen mit Random Forest

Aktuelle Übung

Exercise 4: Einen Random Search visualisieren Exercise 5: Random Search in Scikit Learn Exercise 6: RandomSearchCV: Eingaben Exercise 7: Das RandomizedSearchCV-Objekt Exercise 8: RandomizedSearchCV in Scikit Learn Exercise 9: Grid Search und Random Search vergleichen Exercise 10: Random Search vs. Grid Search Exercise 11: Grid Search und Random Search im direkten Vergleich

Im letzten Kapitel bekommst du einen Einblick in fortgeschrittene Hyperparameter-Tuning-Methoden, die als „informed search“ bekannt sind. Dazu zählen ein Vorgehen namens Coarse to Fine sowie Bayes-Optimierung und genetische Algorithmen. Du lernst, wie sich informed search von uninformed search unterscheidet, und erwirbst praktische Fähigkeiten mit den genannten Methoden, während du sie vergleichst und gegenüberstellst.

Exercise 1: Informed Search: Vom Groben zum Feinen Exercise 2: Coarse to Fine visualisieren Exercise 3: Coarse-to-Fine-Iterationen Exercise 4: Informierte Suche: Bayes’sche Statistik Exercise 5: Bayes-Regel in Python Exercise 6: Bayessches Hyperparameter-Tuning mit Hyperopt Exercise 7: Informierte Suche: Genetische Algorithmen Exercise 8: Genetisches Hyperparameter-Tuning mit TPOT Exercise 9: Analyse der Stabilität von TPOT Exercise 10: Glückwunsch!