RandomizedSearchCV in Scikit Learn

Lass uns üben, ein RandomizedSearchCV-Objekt mit Scikit Learn zu erstellen.

Das Hyperparameter-Raster soll max_depth (alle Werte zwischen einschließlich 5 und 25) und max_features ("auto" und "sqrt") enthalten.

Die gewünschten Optionen für das RandomizedSearchCV-Objekt sind:

Ein RandomForestClassifier-Schätzer mit n_estimators von 80.
3-fache Kreuzvalidierung (cv)
Verwende roc_auc, um die Modelle zu bewerten
Nutze 4 Kerne für parallele Verarbeitung (n_jobs)
Sorge dafür, dass das beste Modell erneut trainiert (refit) wird und Trainingsscores zurückgegeben werden
Ziehe aus Effizienzgründen nur 5 Stichproben von Modellen (n_iter)

Die Datensätze X_train und y_train sind für dich geladen.

Denk daran: Um die gewählten Hyperparameter zu extrahieren, findest du sie in cv_results_ mit jeweils einer Spalte pro Hyperparameter. Die Spalte für den Hyperparameter criterion wäre zum Beispiel param_criterion.

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Anleitung zur Übung

Erstelle ein Hyperparameter-Raster wie oben beschrieben.
Erstelle ein RandomizedSearchCV-Objekt wie oben beschrieben.
Fitte das RandomizedSearchCV-Objekt an die Trainingsdaten.
Greife auf das Objekt cv_results_ zu und gib die vom Modellierungsprozess gewählten Werte für beide Hyperparameter (max_depth und max_features) aus.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Create the parameter grid
param_grid = {'max_depth': list(range(____,26)), 'max_features': [____ , ____]} 

# Create a random search object
random_rf_class = RandomizedSearchCV(
    estimator = ____(n_estimators=____),
    param_distributions = ____, n_iter = ____,
    scoring=____, n_jobs=____, cv = ____, refit=____, return_train_score = ____ )

# Fit to the training data
____.fit(X_train, y_train)

# Print the values used for both hyperparameters
print(random_rf_class.cv_results_[____])
print(random_rf_class.cv_results_[____])

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

In diesem einführenden Kapitel lernst du den Unterschied zwischen Hyperparametern und Parametern kennen. Du übst, Parameter zu extrahieren und zu analysieren und Hyperparameter-Werte für mehrere beliebte Machine-Learning-Algorithmen festzulegen. Dabei lernst du Best Practices und Tricks, welche Hyperparameter du tunen solltest, welche Werte sinnvoll sind und wie du Learning Curves erstellst, um deine Hyperparameter-Auswahl zu bewerten.

Exercise 1: Einführung & „Parameter“Exercise 2: Parameter in der logistischen Regression Exercise 3: Einen Parameter der logistischen Regression extrahieren Exercise 4: Einen Parameter eines Random-Forest extrahieren Exercise 5: Einführung in Hyperparameter Exercise 6: Hyperparameter in Random Forests Exercise 7: Random-Forest-Hyperparameter erkunden Exercise 8: Hyperparameter von KNN Exercise 9: Hyperparameterwerte festlegen und analysieren Exercise 10: Hyperparameterwahl automatisieren Exercise 11: Lernkurven erstellen

Dieses Kapitel führt dich in eine beliebte Methode des automatisierten Hyperparameter-Tunings ein: die Grid Search. Du lernst, was sie ist, wie sie funktioniert, und übst, eine Grid Search mit Scikit-Learn durchzuführen. Anschließend lernst du, die Ergebnisse einer Grid Search zu analysieren und sammelst praktische Erfahrung dabei.

Exercise 1: Einführung in Grid Search Exercise 2: Grid-Search-Funktionen erstellen Exercise 3: Mehrere Hyperparameter iterativ abstimmen Exercise 4: Wie viele Modelle?Exercise 5: Grid Search mit Scikit-Learn Exercise 6: GridSearchCV-Eingaben Exercise 7: GridSearchCV mit Scikit Learn Exercise 8: Ein Grid-Search-Output verstehen Exercise 9: Die besten Ergebnisse nutzen Exercise 10: Die Grid-Search-Ergebnisse erkunden Exercise 11: Die besten Ergebnisse analysieren Exercise 12: Die besten Ergebnisse nutzen

In diesem Kapitel lernst du eine weitere verbreitete Methode des automatisierten Hyperparameter-Tunings kennen: die Random Search. Du erfährst, was sie ist, wie sie funktioniert und vor allem, wie sie sich von der Grid Search unterscheidet. Du lernst Vor- und Nachteile dieses Verfahrens und wann du es gegenüber der Grid Search wählen solltest. Außerdem übst du die Durchführung einer Random Search mit Scikit-Learn sowie die Visualisierung und Interpretation der Ergebnisse.

Exercise 1: Einführung in Random Search Exercise 2: Hyperparameter zufällig sampeln Exercise 3: Zufällig suchen mit Random Forest Exercise 4: Einen Random Search visualisieren Exercise 5: Random Search in Scikit Learn Exercise 6: RandomSearchCV: Eingaben Exercise 7: Das RandomizedSearchCV-Objekt Exercise 8: RandomizedSearchCV in Scikit Learn

Aktuelle Übung

Exercise 9: Grid Search und Random Search vergleichen Exercise 10: Random Search vs. Grid Search Exercise 11: Grid Search und Random Search im direkten Vergleich

Im letzten Kapitel bekommst du einen Einblick in fortgeschrittene Hyperparameter-Tuning-Methoden, die als „informed search“ bekannt sind. Dazu zählen ein Vorgehen namens Coarse to Fine sowie Bayes-Optimierung und genetische Algorithmen. Du lernst, wie sich informed search von uninformed search unterscheidet, und erwirbst praktische Fähigkeiten mit den genannten Methoden, während du sie vergleichst und gegenüberstellst.

Exercise 1: Informed Search: Vom Groben zum Feinen Exercise 2: Coarse to Fine visualisieren Exercise 3: Coarse-to-Fine-Iterationen Exercise 4: Informierte Suche: Bayes’sche Statistik Exercise 5: Bayes-Regel in Python Exercise 6: Bayessches Hyperparameter-Tuning mit Hyperopt Exercise 7: Informierte Suche: Genetische Algorithmen Exercise 8: Genetisches Hyperparameter-Tuning mit TPOT Exercise 9: Analyse der Stabilität von TPOT Exercise 10: Glückwunsch!