Definiera aggregerade mått

Nu ska du definiera prestandamått. Datamängden knowledge_train_data har redan laddats in åt dig, liksom paketen mlr och tidyverse. Följande kod har också körts:

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("size", lower = 1, upper = 5),
  makeIntegerParam("maxit", lower = 1, upper = 300),
  makeNumericParam("decay", lower = 0.0001, upper = 1)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

Den här övningen är en del av kursen

Hyperparameterjustering i R

Övningsinstruktioner

Använd funktionen setAggregation, som aggregerar standardavvikelsen för prestandamått.
Tillämpa setAggregation på medelfelklassificering och noggrannhet efter resampling.
Optimera din modell med hjälp av medelfelklassificering. Kom ihåg att det första argumentet används vid optimering.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, 
                       task = task, 
                       resampling = holdout, 
                       control = ctrl_random, 
                       par.set = param_set,
                       measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))

Redigera och kör kod

Den här övningen är en del av kursen

Hyperparameterjustering i R

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Varför använder vi det märkliga ordet "hyperparameter"? Vad gör det hyper? Här får du förståelse för vad modellparametrar är och varför de skiljer sig från hyperparametrar inom maskininlärning. Du ser också varför vi vill justera dem och hur carets standardinställningar automatiskt inkluderar hyperparameterjustering.

Exercise 1: Parametrar och hyperparametrar Exercise 2: Modellparametrar vs. hyperparametrar Exercise 3: Hyperparametrar i linjära modeller Exercise 4: Vad är koefficienterna?Exercise 5: Repetition av grunderna i maskininlärning Exercise 6: Maskininlärning med caret Exercise 7: Resamplingscheman Exercise 8: Hyperparameterjustering i caret Exercise 9: Hyperparametrar i Stochastic Gradient Boosting Exercise 10: Ändra antalet hyperparametrar att finjustera Exercise 11: Justera hyperparametrar manuellt

I det här kapitlet lär du dig att justera hyperparametrar med ett kartesiskt grid. Sedan implementerar du snabbare och mer effektiva metoder. Du använder slumpmässig sökning och adaptiv omsampling för att justera parametergridet på ett sätt som fokuserar på värden i närheten av de optimala inställningarna.

Exercise 1: Hyperparameterjustering i caret Exercise 2: Hitta hyperparametrar Exercise 3: Kartesisk grid-sökning i caret Exercise 4: Visualisera modellresultat för hyperparametrar Exercise 5: Grid Search vs. Random Search Exercise 6: Rutnätssökning med ett intervall av hyperparametrar Exercise 7: Hitta alternativet i train() för slumpmässig sökning Exercise 8: Slumpmässig sökning med caret Exercise 9: Adaptiv återsampling Exercise 10: Fördelar med Adaptive Resampling Exercise 11: Adaptiv resampning med caret

Här använder du ett annat paket för maskininlärning med mycket praktiska funktioner för hyperparameterjustering. Du definierar ett kartesiskt grid eller utför slumpmässig sökning, samt tillämpar avancerade tekniker. Du lär dig också olika sätt att visualisera och utvärdera modeller med olika hyperparametrar.

Exercise 1: Maskininlärning med mlr Exercise 2: Maskininlärning med mlr Exercise 3: Modellering med mlr Exercise 4: Grid- och slumpsökning med mlr Exercise 5: Slumpsökning med mlr Exercise 6: Utför hyperparameterjustering med mlr Exercise 7: Utvärdera hyperparametrar med mlr Exercise 8: Varför utvärdera tuning?Exercise 9: Utvärdera resultat från hyperparameterjustering Exercise 10: Avancerad tuning med mlr Exercise 11: Definiera avancerade tuningkontroller Exercise 12: Definiera aggregerade mått

Aktuell övning

Exercise 13: Ange hyperparametrar

I det här avslutande kapitlet använder du h2o, ett annat paket för maskininlärning med mycket praktiska funktioner för hyperparameterjustering. Du tränar olika modeller och definierar ett kartesiskt grid. Sedan implementerar du en slumpmässig sökning med stoppkriterier. Slutligen lär du dig AutoML – ett gränssnitt i h2o som möjliggör snabb och smidig modell- och hyperparameterjustering med bara en funktion.

Exercise 1: Maskininlärning med h2o Exercise 2: Förbered data för modellering med h2o Exercise 3: Modellering med h2o Exercise 4: Grid- och slumpsökning med h2o Exercise 5: Gridsökning med h2o Exercise 6: Slumpmässig sökning med h2o Exercise 7: Stoppkriterier Exercise 8: Automatisk maskininlärning med H2O Exercise 9: AutoML i h2o Exercise 10: Poängsätta ledartavlan Exercise 11: Extrahera h2o-modeller och utvärdera prestanda Exercise 12: Avslutning