GridSearchCV mit Scikit Learn

Das Modul GridSearchCV aus Scikit Learn bietet viele nützliche Funktionen, um eine Grid Search effizient durchzuführen. Jetzt setzt du dein Wissen um, indem du ein GridSearchCV-Objekt mit bestimmten Parametern erstellst.

Die gewünschten Optionen sind:

Ein Random-Forest-Estimator mit dem Split-Kriterium 'entropy'
5-fache Kreuzvalidierung
Die Hyperparameter max_depth (2, 4, 8, 15) und max_features ('auto' vs. 'sqrt')
Verwende roc_auc, um die Modelle zu bewerten
Nutze 4 Kerne für parallele Verarbeitung
Stelle sicher, dass du das beste Modell erneut anpasst (refit) und Trainingsscores zurückgibst

Dir stehen die Datensätze X_train, X_test, y_train und y_test zur Verfügung.

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Anleitung zur Übung

Erstelle einen Random-Forest-Estimator wie oben beschrieben.
Erstelle ein Parameter-Grid wie oben beschrieben.
Erstelle ein GridSearchCV-Objekt wie oben beschrieben und nutze dafür die beiden Elemente aus den vorherigen beiden Schritten.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Create a Random Forest Classifier with specified criterion
rf_class = RandomForestClassifier(____=____)

# Create the parameter grid
param_grid = {____: ____, ____: ____} 

# Create a GridSearchCV object
grid_rf_class = GridSearchCV(
    estimator=____,
    param_grid=____,
    scoring=____,
    n_jobs=____,
    cv=____,
    refit=____, return_train_score=____)
print(grid_rf_class)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Hyperparameter-Tuning in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.9+

Kurs kostenlos starten

In diesem einführenden Kapitel lernst du den Unterschied zwischen Hyperparametern und Parametern kennen. Du übst, Parameter zu extrahieren und zu analysieren und Hyperparameter-Werte für mehrere beliebte Machine-Learning-Algorithmen festzulegen. Dabei lernst du Best Practices und Tricks, welche Hyperparameter du tunen solltest, welche Werte sinnvoll sind und wie du Learning Curves erstellst, um deine Hyperparameter-Auswahl zu bewerten.

Exercise 1: Einführung & „Parameter“Exercise 2: Parameter in der logistischen Regression Exercise 3: Einen Parameter der logistischen Regression extrahieren Exercise 4: Einen Parameter eines Random-Forest extrahieren Exercise 5: Einführung in Hyperparameter Exercise 6: Hyperparameter in Random Forests Exercise 7: Random-Forest-Hyperparameter erkunden Exercise 8: Hyperparameter von KNN Exercise 9: Hyperparameterwerte festlegen und analysieren Exercise 10: Hyperparameterwahl automatisieren Exercise 11: Lernkurven erstellen

Dieses Kapitel führt dich in eine beliebte Methode des automatisierten Hyperparameter-Tunings ein: die Grid Search. Du lernst, was sie ist, wie sie funktioniert, und übst, eine Grid Search mit Scikit-Learn durchzuführen. Anschließend lernst du, die Ergebnisse einer Grid Search zu analysieren und sammelst praktische Erfahrung dabei.

Exercise 1: Einführung in Grid Search Exercise 2: Grid-Search-Funktionen erstellen Exercise 3: Mehrere Hyperparameter iterativ abstimmen Exercise 4: Wie viele Modelle?Exercise 5: Grid Search mit Scikit-Learn Exercise 6: GridSearchCV-Eingaben Exercise 7: GridSearchCV mit Scikit Learn

Aktuelle Übung

Exercise 8: Ein Grid-Search-Output verstehen Exercise 9: Die besten Ergebnisse nutzen Exercise 10: Die Grid-Search-Ergebnisse erkunden Exercise 11: Die besten Ergebnisse analysieren Exercise 12: Die besten Ergebnisse nutzen

In diesem Kapitel lernst du eine weitere verbreitete Methode des automatisierten Hyperparameter-Tunings kennen: die Random Search. Du erfährst, was sie ist, wie sie funktioniert und vor allem, wie sie sich von der Grid Search unterscheidet. Du lernst Vor- und Nachteile dieses Verfahrens und wann du es gegenüber der Grid Search wählen solltest. Außerdem übst du die Durchführung einer Random Search mit Scikit-Learn sowie die Visualisierung und Interpretation der Ergebnisse.

Exercise 1: Einführung in Random Search Exercise 2: Hyperparameter zufällig sampeln Exercise 3: Zufällig suchen mit Random Forest Exercise 4: Einen Random Search visualisieren Exercise 5: Random Search in Scikit Learn Exercise 6: RandomSearchCV: Eingaben Exercise 7: Das RandomizedSearchCV-Objekt Exercise 8: RandomizedSearchCV in Scikit Learn Exercise 9: Grid Search und Random Search vergleichen Exercise 10: Random Search vs. Grid Search Exercise 11: Grid Search und Random Search im direkten Vergleich

Im letzten Kapitel bekommst du einen Einblick in fortgeschrittene Hyperparameter-Tuning-Methoden, die als „informed search“ bekannt sind. Dazu zählen ein Vorgehen namens Coarse to Fine sowie Bayes-Optimierung und genetische Algorithmen. Du lernst, wie sich informed search von uninformed search unterscheidet, und erwirbst praktische Fähigkeiten mit den genannten Methoden, während du sie vergleichst und gegenüberstellst.

Exercise 1: Informed Search: Vom Groben zum Feinen Exercise 2: Coarse to Fine visualisieren Exercise 3: Coarse-to-Fine-Iterationen Exercise 4: Informierte Suche: Bayes’sche Statistik Exercise 5: Bayes-Regel in Python Exercise 6: Bayessches Hyperparameter-Tuning mit Hyperopt Exercise 7: Informierte Suche: Genetische Algorithmen Exercise 8: Genetisches Hyperparameter-Tuning mit TPOT Exercise 9: Analyse der Stabilität von TPOT Exercise 10: Glückwunsch!