Definește măsuri agregate

Acum vei defini măsuri de performanță. Setul de date knowledge_train_data a fost deja încărcat, la fel și pachetele mlr și tidyverse. De asemenea, a fost rulat și următorul cod:

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("size", lower = 1, upper = 5),
  makeIntegerParam("maxit", lower = 1, upper = 300),
  makeNumericParam("decay", lower = 0.0001, upper = 1)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

Acest exercițiu face parte din cursul

Ajustarea hiperparametrilor în R

Instrucțiuni pentru exercițiu

Folosește funcția setAggregation, care agregează deviația standard a metricilor de performanță.
Aplică setAggregation pentru eroarea medie de clasificare greșită și acuratețea după reesantionare.
Optimizează modelul folosind eroarea medie de clasificare greșită. Reține că primul argument este cel folosit pentru optimizare.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, 
                       task = task, 
                       resampling = holdout, 
                       control = ctrl_random, 
                       par.set = param_set,
                       measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))

Editează și rulează codul

Acest exercițiu face parte din cursul

Ajustarea hiperparametrilor în R

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

De ce folosim termenul ciudat „hiperparametru"? Ce îl face „hiper"? Aici vei înțelege ce sunt parametrii unui model și de ce sunt diferiți de hiperparametri în învățarea automată. Vei vedea apoi de ce am vrea să îi ajustăm și cum configurația implicită a pachetului caret include automat ajustarea hiperparametrilor.

Exercise 1: Parametri vs hiperparametri Exercise 2: Parametrii modelului vs. hiperparametrii Exercise 3: Hiperparametri în modelele liniare Exercise 4: Care sunt coeficienții?Exercise 5: Recapitulare a noțiunilor de bază din machine learning Exercise 6: Învățare automată cu caret Exercise 7: Scheme de reeșantionare Exercise 8: Reglarea hiperparametrilor în caret Exercise 9: Hiperparametrii în Stochastic Gradient Boosting Exercise 10: Modificarea numărului de hiperparametri de optimizat Exercise 11: Ajustează manual hiperparametrii

În acest capitol vei învăța cum să ajustezi hiperparametrii folosind o grilă carteziană. Apoi vei implementa abordări mai rapide și mai eficiente. Vei folosi căutarea aleatorie și reesantionarea adaptivă pentru a ajusta grila de parametri, concentrându-te pe valorile din vecinătatea setărilor optime.

Exercise 1: Reglarea hiperparametrilor în caret Exercise 2: Identificarea hiperparametrilor Exercise 3: Căutare în grilă Cartesiană cu caret Exercise 4: Vizualizarea rezultatelor modelului cu hiperparametri Exercise 5: Grid Search vs. Random Search Exercise 6: Căutare pe grilă cu un interval de hiperparametri Exercise 7: Găsește opțiunea din train() pentru căutarea aleatorie Exercise 8: Căutare aleatoare cu caret Exercise 9: Resamplingul adaptiv Exercise 10: Avantajele Adaptive Resampling Exercise 11: Reesantionare adaptivă cu caret

Aici vei folosi un alt pachet pentru învățare automată, care pune la dispoziție funcții foarte convenabile de ajustare a hiperparametrilor. Vei defini o grilă carteziană sau vei efectua o căutare aleatorie, precum și tehnici avansate. Vei învăța, de asemenea, diferite modalități de a reprezenta grafic și de a evalua modele cu hiperparametri diferiți.

Exercise 1: Învățare automată cu mlr Exercise 2: Machine Learning cu mlr Exercise 3: Modelare cu mlr Exercise 4: Căutare pe grilă și căutare aleatoare cu mlr Exercise 5: Căutare aleatorie cu mlr Exercise 6: Realizează ajustarea hiperparametrilor cu mlr Exercise 7: Evaluarea hiperparametrilor cu mlr Exercise 8: De ce să evaluezi ajustarea hiperparametrilor?Exercise 9: Evaluarea rezultatelor ajustării hiperparametrilor Exercise 10: Reglaj avansat cu mlr Exercise 11: Definește controale avansate de tuning Exercise 12: Definește măsuri agregate

Exercițiul curent

Exercise 13: Setarea hiperparametrilor

În acest capitol final vei folosi h2o, un alt pachet pentru învățare automată cu funcții foarte convenabile de ajustare a hiperparametrilor. Îl vei utiliza pentru a antrena modele diferite și a defini o grilă carteziană. Apoi vei implementa o căutare aleatorie cu criterii de oprire. În final, vei învăța AutoML, o interfață h2o care permite ajustarea rapidă și convenabilă a modelelor și hiperparametrilor printr-o singură funcție.

Exercise 1: Machine learning cu h2o Exercise 2: Pregătirea datelor pentru modelare cu h2o Exercise 3: Modelare cu h2o Exercise 4: Căutare în grilă și aleatorie cu h2o Exercise 5: Căutare pe grilă cu h2o Exercise 6: Căutare aleatorie cu h2o Exercise 7: Criterii de oprire Exercise 8: Machine learning automat cu H2O Exercise 9: AutoML în h2o Exercise 10: Scorarea clasamentului Exercise 11: Extrage modele h2o și evaluează performanța Exercise 12: Rezumat