Geaggregeerde metingen definiëren

Nu ga je prestatiemaatstaven definiëren. De gegevensset knowledge_train_data is al voor je geladen, net als de pakketten mlr en tidyverse. En de volgende code is ook al uitgevoerd:

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("size", lower = 1, upper = 5),
  makeIntegerParam("maxit", lower = 1, upper = 300),
  makeNumericParam("decay", lower = 0.0001, upper = 1)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

Deze oefening maakt deel uit van de cursus

Hyperparameterafstelling in R

Oefeninstructies

Gebruik de functie setAggregation, die de standaarddeviatie van prestatiemetrieken aggregeert.
Pas setAggregation toe op de gemiddelde misclassificatiefout en accuracy na resampling.
Optimaliseer je model op basis van de gemiddelde misclassificatiefout. Onthoud dat het eerste argument wordt gebruikt voor optimalisatie.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, 
                       task = task, 
                       resampling = holdout, 
                       control = ctrl_random, 
                       par.set = param_set,
                       measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Hyperparameterafstelling in R

SkillTag.level.advancedSkillTag.label

4.8+

Begin gratis met de cursus

Waarom gebruiken we het vreemde woord "hyperparameter"? Wat maakt het ‘hyper’? Hier ontdek je wat modelparameters zijn en waarom ze anders zijn dan hyperparameters in Machine Learning. Daarna zie je waarom we ze willen afstellen en hoe de standaardinstelling van caret automatisch hyperparameterafstelling meeneemt.

Exercise 1: Parameters vs. hyperparameters Exercise 2: Modelparameters vs. hyperparameters Exercise 3: Hyperparameters in lineaire modellen Exercise 4: Wat zijn de coëfficiënten?Exercise 5: Herhaling van de basis van Machine Learning Exercise 6: Machine learning met caret Exercise 7: Resampling-schema's Exercise 8: Hyperparametertuning in caret Exercise 9: Hyperparameters in Stochastic Gradient Boosting Exercise 10: Het aantal te tunen hyperparameters aanpassen Exercise 11: Hyperparameters handmatig afstellen

In dit hoofdstuk leer je hoe je hyperparameters afstelt met een Cartesisch rooster. Daarna pas je snellere en efficiëntere methoden toe. Je gebruikt Random Search en adaptieve hersteekproeven om het parameterrooster te tunen, op een manier die zich richt op waarden in de buurt van de optimale instellingen.

Exercise 1: Hyperparameter tuning in caret Exercise 2: Hyperparameters vinden Exercise 3: Cartesisch grid search in caret Exercise 4: Plot de uitvoer van het hyperparametermodel Exercise 5: Grid Search vs. Random Search Exercise 6: Grid search met bereiken van hyperparameters Exercise 7: Zoek de train()-optie voor random search Exercise 8: Random search met caret Exercise 9: Adaptieve resampling Exercise 10: Voordelen van Adaptive Resampling Exercise 11: Adaptive Resampling met caret

Hier gebruik je een ander pakket voor Machine Learning met zeer handige functies voor hyperparameterafstelling. Je definieert een Cartesisch rooster of voert Random Search uit, evenals geavanceerde technieken. Je leert ook verschillende manieren om modellen met verschillende hyperparameters te plotten en te evalueren.

Exercise 1: Machine learning met mlr Exercise 2: Machine Learning met mlr Exercise 3: Modelleren met mlr Exercise 4: Grid- en random search met mlr Exercise 5: Random search met mlr Exercise 6: Voer hyperparameter-tuning uit met mlr Exercise 7: Hyperparameters evalueren met mlr Exercise 8: Waarom tuning evalueren?Exercise 9: Resultaten van hyperparameter-tuning evalueren Exercise 10: Geavanceerd tunen met mlr Exercise 11: Geavanceerde tuning-instellingen definiëren Exercise 12: Geaggregeerde metingen definiëren

Huidige oefening

Exercise 13: Hyperparameters instellen

In dit laatste hoofdstuk gebruik je h2o, een ander pakket voor Machine Learning met zeer handige functies voor hyperparameterafstelling. Je gebruikt het om verschillende modellen te trainen en een Cartesisch rooster te definiëren. Vervolgens implementeer je een Random Search en gebruik je stopcriteria. Tot slot leer je AutoML kennen, een h2o-interface die zeer snel en gemakkelijk model- en hyperparameterafstelling mogelijk maakt met slechts één functie.

Exercise 1: Machine learning met h2o Exercise 2: Data voorbereiden voor modelleren met h2o Exercise 3: Modelleren met h2o Exercise 4: Grid- en random search met h2o Exercise 5: Grid search met h2o Exercise 6: Random search met h2o Exercise 7: Stopcriteria Exercise 8: Automatische Machine Learning met H2O Exercise 9: AutoML in h2o Exercise 10: Scores in de leaderboard Exercise 11: h2o-modellen extraheren en prestaties evalueren Exercise 12: Afronding