Hyperparameter-Optimierung mit RandomizedSearchCV

Wie du gesehen hast, kann GridSearchCV sehr rechenintensiv sein, vor allem bei der Suche in einem großen Hyperparameterraum. In solchen Fällen kannst du RandomizedSearchCV verwenden, um eine feste Anzahl von Hyperparameterwerten aus vorgegebenen Wahrscheinlichkeitsverteilungen zu testen.

Die Trainings- und Testmengen von diabetes_df wurden bereits als X_train, X_test, y_train und y_test geladen. Die Zielvariable ist "diabetes". Ein Modell für die logistische Regression wurde erstellt und als logreg gespeichert und ein KFold-Objekt wurde als kf gespeichert.

Du sollst nun eine Reihe von Hyperparametern festlegen und RandomizedSearchCV verwenden (wurde aus sklearn.model_selection importiert), um nach optimalen Hyperparametern innerhalb dieser Reihe zu suchen.

Diese Übung ist Teil des Kurses

Überwachtes Lernen mit scikit-learn

Anleitung zur Übung

Erstelle params, füge "l1" und "l2" als penalty-Werte hinzu, setze C auf einen Bereich von 50 Gleitkommawerten zwischen 0.1 und 1.0 und setze class_weight entweder auf "balanced" oder auf ein Dictionary mit 0:0.8, 1:0.2.
Erstelle das RandomizedSearchCV-Objekt, übergib das Modell und die Parameter und setze cv gleich kf.
Passe logreg_cv an die Trainingsdaten an.
Gib die besten Parameter und die Korrektklassifikationsrate des Modells aus.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Create the parameter space
params = {"penalty": ["____", "____"],
         "tol": np.linspace(0.0001, 1.0, 50),
         "C": np.linspace(____, ____, ____),
         "class_weight": ["____", {0:____, 1:____}]}

# Instantiate the RandomizedSearchCV object
logreg_cv = ____(____, ____, cv=____)

# Fit the data to the model
logreg_cv.____(____, ____)

# Print the tuned parameters and score
print("Tuned Logistic Regression Parameters: {}".format(____.____))
print("Tuned Logistic Regression Best Accuracy Score: {}".format(____.____))

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Überwachtes Lernen mit scikit-learn

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

In diesem Kapitel werden Klassifikationsprobleme vorgestellt und du erfährst, wie du sie mit Techniken des überwachten Lernens lösen kannst. Du lernst, wie du Daten in Trainings- und Testmengen aufteilst, ein Modell anpasst, Vorhersagen erstellst und die Genauigkeit auswertest. Du entdeckst den Zusammenhang zwischen der Komplexität und Leistung von Modellen und wendest das Gelernte auf einen Beispieldatensatz an, um die mögliche Abwanderung von Kunden eines Telekommunikationsunternehmens vorherzusagen.

Exercise 1: Maschinelles Lernen mit scikit-learn Exercise 2: Binäre Klassifikation Exercise 3: Arbeitsablauf beim überwachten Lernen Exercise 4: Klassifikationsbeispiel Exercise 5: Nächste-Nachbarn-Klassifikation: Anpassung Exercise 6: Nächste-Nachbarn-Klassifikation: Vorhersage Exercise 7: Messung der Modellleistung Exercise 8: Zerlegung in Trainings-/Testdaten und Berechnung der Korrektklassifikationsrate Exercise 9: Überanpassung und Unteranpassung Exercise 10: Visualisierung der Modellkomplexität

In diesem Kapitel lernst du die Vorgehensweise bei der Regression kennen und erstellst Modelle zur Vorhersage von Umsätzen anhand eines Datensatzes zu Werbeausgaben. Dabei wendest du die lineare Regression an und nutzt gängige Leistungskennzahlen wie das Bestimmtheitsmaß und den RMSE-Wert. Außerdem führst du eine k-fache Kreuzvalidierung durch und regularisierst Regressionsmodelle, um das Risiko einer Überanpassung zu verringern.

Exercise 1: Einführung in die Regression Exercise 2: Erstellung von Merkmalen Exercise 3: Nutzung eines Modells für die lineare Regression Exercise 4: Visualisierung des Modells für die lineare Regression Exercise 5: Grundlagen der linearen Regression Exercise 6: Anpassung und Vorhersagen bei der Regression Exercise 7: Leistung des Modells bei der Regression Exercise 8: Kreuzvalidierung Exercise 9: Kreuzvalidierung und Bestimmtheitsmaß Exercise 10: Analyse von Kennzahlen bei der Kreuzvalidierung Exercise 11: Regularisierte Regression Exercise 12: Regularisierte Regression: Ridge Exercise 13: Lasso-Regression und Wichtigkeit von Merkmalen

Nachdem du verschiedene Modelle trainiert hast, lernst du jetzt, wie du ihre Leistung bewerten kannst. Dazu werden in diesem Kapitel verschiedene Kennzahlen und ein Visualisierungsverfahren vorgestellt, um die Ergebnisse von Klassifikationsmodellen mit scikit-learn auszuwerten. Außerdem geht es um die Optimierung von Hyperparametern, um dadurch die Leistung von Klassifikations- und Regressionsmodellen weiter zu verbessern.

Exercise 1: Wie gut ist dein Modell?Exercise 2: Auswahl einer geeigneten primären Kennzahl Exercise 3: Bewertung eines Klassifikators zur Diabetesvorhersage Exercise 4: Logistische Regression und die ROC-Kurve Exercise 5: Nutzung eines Modells für die logistische Regression Exercise 6: Die ROC-Kurve Exercise 7: ROC AUC Exercise 8: Hyperparameter-Optimierung Exercise 9: Hyperparameter-Optimierung mit GridSearchCV Exercise 10: Hyperparameter-Optimierung mit RandomizedSearchCV

Aktuelle Übung

In diesem Kapitel lernst du, wie du fehlende Werte korrigierst, kategoriale Daten in numerische Werte umwandelst, Daten skalierst, mehrere Modelle für überwachtes Lernen gleichzeitig auswertest und Pipelines zur Workflow-Optimierung erstellst.

Exercise 1: Vorverarbeitung von Daten Exercise 2: Erstellung von Dummy-Variablen Exercise 3: Regression mit kategorialen Merkmalen Exercise 4: Umgang mit fehlenden Daten Exercise 5: Verwerfen von fehlenden Daten Exercise 6: Pipeline zur Vorhersage von Genres: Teil 1 Exercise 7: Pipeline zur Vorhersage von Genres: Teil 2 Exercise 8: Zentrierung und Skalierung Exercise 9: Zentrierung und Skalierung für die Regression Exercise 10: Zentrierung und Skalierung für die Klassifikation Exercise 11: Evaluierung mehrerer Modelle Exercise 12: Visualisierung der Leistung von Regressionsmodellen Exercise 13: Vorhersagen für die Testdaten Exercise 14: Visualisierung der Leistung von Klassifikationsmodellen Exercise 15: Pipeline zur Vorhersage der Songpopularität Exercise 16: Glückwunsch!