Hyperparameter zufällig sampeln

Für eine Random Search müssen wir zunächst zufällige Stichproben aus unserem Hyperparameterraum ziehen.

In dieser Übung erstellst du zunächst einige Listen mit Hyperparametern, die zu einer Liste von Listen zusammengefasst werden können. Anschließend ziehst du zufällige Stichproben von Hyperparameter-Kombinationen, um die Random Search vorzubereiten.

Um das Beispiel anschaulich und nicht zu komplex zu halten, verwendest du nur die Hyperparameter learning_rate und min_samples_leaf des GBM-Algorithmus.

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Anleitung zur Übung

Erstelle eine Liste mit 200 Werten für den Hyperparameter learning_rate zwischen 0,01 und 1,5 und weise sie der Liste learn_rate_list zu.
Erstelle eine Liste mit Werten zwischen 10 und 40 (einschließlich) für den Hyperparameter min_samples_leaf und weise sie der Liste min_samples_list zu.
Fasse diese Listen zu einer Liste von Listen zusammen, aus der gesampelt wird.
Ziehe zufällig 250 Modelle aus diesen Hyperparameterkombinationen und gib das Ergebnis aus.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Create a list of values for the learning_rate hyperparameter
learn_rate_list = list(np.____(____,____,____))

# Create a list of values for the min_samples_leaf hyperparameter
min_samples_list = list(____(____,____))

# Combination list
combinations_list = [list(x) for x in ____(____, min_samples_list)]

# Sample hyperparameter combinations for a random search.
random_combinations_index = np.____(range(0, len(____)), ____, replace=False)
combinations_random_chosen = [combinations_list[x] for x in ____]

# Print the result
print(____)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

In diesem einführenden Kapitel lernst du den Unterschied zwischen Hyperparametern und Parametern kennen. Du übst, Parameter zu extrahieren und zu analysieren und Hyperparameter-Werte für mehrere beliebte Machine-Learning-Algorithmen festzulegen. Dabei lernst du Best Practices und Tricks, welche Hyperparameter du tunen solltest, welche Werte sinnvoll sind und wie du Learning Curves erstellst, um deine Hyperparameter-Auswahl zu bewerten.

Exercise 1: Einführung & „Parameter“Exercise 2: Parameter in der logistischen Regression Exercise 3: Einen Parameter der logistischen Regression extrahieren Exercise 4: Einen Parameter eines Random-Forest extrahieren Exercise 5: Einführung in Hyperparameter Exercise 6: Hyperparameter in Random Forests Exercise 7: Random-Forest-Hyperparameter erkunden Exercise 8: Hyperparameter von KNN Exercise 9: Hyperparameterwerte festlegen und analysieren Exercise 10: Hyperparameterwahl automatisieren Exercise 11: Lernkurven erstellen

Dieses Kapitel führt dich in eine beliebte Methode des automatisierten Hyperparameter-Tunings ein: die Grid Search. Du lernst, was sie ist, wie sie funktioniert, und übst, eine Grid Search mit Scikit-Learn durchzuführen. Anschließend lernst du, die Ergebnisse einer Grid Search zu analysieren und sammelst praktische Erfahrung dabei.

Exercise 1: Einführung in Grid Search Exercise 2: Grid-Search-Funktionen erstellen Exercise 3: Mehrere Hyperparameter iterativ abstimmen Exercise 4: Wie viele Modelle?Exercise 5: Grid Search mit Scikit-Learn Exercise 6: GridSearchCV-Eingaben Exercise 7: GridSearchCV mit Scikit Learn Exercise 8: Ein Grid-Search-Output verstehen Exercise 9: Die besten Ergebnisse nutzen Exercise 10: Die Grid-Search-Ergebnisse erkunden Exercise 11: Die besten Ergebnisse analysieren Exercise 12: Die besten Ergebnisse nutzen

In diesem Kapitel lernst du eine weitere verbreitete Methode des automatisierten Hyperparameter-Tunings kennen: die Random Search. Du erfährst, was sie ist, wie sie funktioniert und vor allem, wie sie sich von der Grid Search unterscheidet. Du lernst Vor- und Nachteile dieses Verfahrens und wann du es gegenüber der Grid Search wählen solltest. Außerdem übst du die Durchführung einer Random Search mit Scikit-Learn sowie die Visualisierung und Interpretation der Ergebnisse.

Exercise 1: Einführung in Random Search Exercise 2: Hyperparameter zufällig sampeln

Aktuelle Übung

Exercise 3: Zufällig suchen mit Random Forest Exercise 4: Einen Random Search visualisieren Exercise 5: Random Search in Scikit Learn Exercise 6: RandomSearchCV: Eingaben Exercise 7: Das RandomizedSearchCV-Objekt Exercise 8: RandomizedSearchCV in Scikit Learn Exercise 9: Grid Search und Random Search vergleichen Exercise 10: Random Search vs. Grid Search Exercise 11: Grid Search und Random Search im direkten Vergleich

Im letzten Kapitel bekommst du einen Einblick in fortgeschrittene Hyperparameter-Tuning-Methoden, die als „informed search“ bekannt sind. Dazu zählen ein Vorgehen namens Coarse to Fine sowie Bayes-Optimierung und genetische Algorithmen. Du lernst, wie sich informed search von uninformed search unterscheidet, und erwirbst praktische Fähigkeiten mit den genannten Methoden, während du sie vergleichst und gegenüberstellst.

Exercise 1: Informed Search: Vom Groben zum Feinen Exercise 2: Coarse to Fine visualisieren Exercise 3: Coarse-to-Fine-Iterationen Exercise 4: Informierte Suche: Bayes’sche Statistik Exercise 5: Bayes-Regel in Python Exercise 6: Bayessches Hyperparameter-Tuning mit Hyperopt Exercise 7: Informierte Suche: Genetische Algorithmen Exercise 8: Genetisches Hyperparameter-Tuning mit TPOT Exercise 9: Analyse der Stabilität von TPOT Exercise 10: Glückwunsch!