Hoeveel modellen?

Als je meer hyperparameters of waarden toevoegt, neemt het aantal gegenereerde modellen toe, maar die toename is niet lineair: hij is evenredig met het aantal waarden en hyperparameters dat je al hebt.

Hoeveel modellen worden er gemaakt als je een grid search uitvoert over de volgende hyperparameters en waarden voor een GBM-algoritme?

learning_rate = [0.001, 0.01, 0.05, 0.1, 0.2, 0.3, 0.5, 1, 2]
max_depth = [4,6,8,10,12,14,16,18, 20]
subsample = [0.4, 0.6, 0.7, 0.8, 0.9]
max_features = ['auto', 'sqrt', 'log2']

Deze lijsten staan in je console, dus je kunt hun eigenschappen gebruiken om je te helpen!

Deze oefening maakt deel uit van de cursus

Hyperparameter Tuning in Python

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Deze oefening maakt deel uit van de cursus

Hyperparameter Tuning in Python

SkillTag.level.intermediateSkillTag.label

4.9+

Begin gratis met de cursus

In dit introductiehoofdstuk leer je het verschil tussen hyperparameters en parameters. Je oefent met het extraheren en analyseren van parameters en het instellen van hyperparameterwaarden voor enkele populaire machine learning-algoritmen. Onderweg leer je best practices en handige tips om te bepalen welke hyperparameters je afstelt, welke waarden je kiest, en bouw je leercurves om je hyperparameterkeuzes te analyseren.

Exercise 1: Introductie & 'Parameters'Exercise 2: Parameters in Logistic Regression Exercise 3: Een parameter van Logistic Regression extraheren Exercise 4: Een parameter uit een Random Forest extraheren Exercise 5: Kennismaken met hyperparameters Exercise 6: Hyperparameters in Random Forests Exercise 7: Random Forest-hyperparameters verkennen Exercise 8: Hyperparameters van KNN Exercise 9: Hyperparameterwaarden instellen en analyseren Exercise 10: Hyperparameterkeuze automatiseren Exercise 11: Leercurves bouwen

Dit hoofdstuk introduceert een populaire methode voor geautomatiseerde hyperparameter tuning: Grid Search. Je leert wat het is, hoe het werkt en oefent met een Grid Search in Scikit Learn. Daarna leer je hoe je de output van een Grid Search analyseert en doe je hier praktische ervaring mee op.

Exercise 1: Introductie van Grid Search Exercise 2: Bouw Grid Search-functies Exercise 3: Iteratief meerdere hyperparameters afstemmen Exercise 4: Hoeveel modellen?

Huidige oefening

Exercise 5: Grid search met Scikit Learn Exercise 6: GridSearchCV-invoer Exercise 7: GridSearchCV met Scikit Learn Exercise 8: De uitkomst van een grid search begrijpen Exercise 9: De beste resultaten gebruiken Exercise 10: De grid-searchresultaten verkennen Exercise 11: De beste resultaten analyseren Exercise 12: De beste resultaten gebruiken

In dit hoofdstuk maak je kennis met een andere populaire methode voor geautomatiseerde hyperparameter tuning: Random Search. Je leert wat het is, hoe het werkt en vooral hoe het verschilt van grid search. Je leert de voor- en nadelen van deze methode en wanneer je deze kiest ten opzichte van Grid Search. Je oefent met een Random Search in Scikit Learn en met het visualiseren en interpreteren van de output.

Exercise 1: Introductie van Random Search Exercise 2: Hyperparameters willekeurig bemonsteren Exercise 3: Willekeurig zoeken met Random Forest Exercise 4: Een Random Search visualiseren Exercise 5: Random Search in Scikit Learn Exercise 6: RandomSearchCV-invoer Exercise 7: Het RandomizedSearchCV-object Exercise 8: RandomSearchCV in Scikit Learn Exercise 9: Grid Search en Random Search vergelijken Exercise 10: Random Search en Grid Search vergelijken Exercise 11: Grid en Random Search naast elkaar

In dit laatste hoofdstuk maak je kennis met meer geavanceerde hyperparameter tuning-methoden, bekend als 'informed search'. Dit omvat een aanpak genaamd Coarse To Fine en Bayesian en Genetic hyperparameter tuning-algoritmen. Je leert hoe informed search verschilt van uninformed search en ontwikkelt praktische vaardigheden met elk van de genoemde methoden, terwijl je ze vergelijkt en tegenover elkaar zet.

Exercise 1: Informed Search: van grof naar fijn Exercise 2: Coarse to Fine visualiseren Exercise 3: Coarse-to-fine-iteraties Exercise 4: Informed Search: Bayesiaanse statistiek Exercise 5: De regel van Bayes in Python Exercise 6: Bayesiaanse hyperparametertuning met Hyperopt Exercise 7: Informed Search: genetische algoritmen Exercise 8: Genetische hyperparameter-tuning met TPOT Exercise 9: De stabiliteit van TPOT analyseren Exercise 10: Gefeliciteerd!