Aggregierte Kennzahlen definieren
Jetzt definierst du Leistungskennzahlen.
Der Datensatz knowledge_train_data wurde bereits für dich geladen, ebenso die Pakete mlr und tidyverse. Außerdem wurde der folgende Code schon ausgeführt:
task <- makeClassifTask(data = knowledge_train_data,
target = "UNS")
lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)
param_set <- makeParamSet(
makeIntegerParam("size", lower = 1, upper = 5),
makeIntegerParam("maxit", lower = 1, upper = 300),
makeNumericParam("decay", lower = 0.0001, upper = 1)
)
ctrl_random <- makeTuneControlRandom(maxit = 10)
Diese Übung ist Teil des Kurses
<Kurs>Hyperparameter-Tuning in R</Kurs>Übungsanweisungen
- Verwende die Funktion
setAggregation, die die Standardabweichung von Leistungskennzahlen aggregiert. - Wende
setAggregationauf den mittleren Fehlklassifikationsfehler und die Accuracy nach dem Resampling an. - Optimiere dein Modell anhand des mittleren Fehlklassifikationsfehlers. Denk daran, dass das erste Argument für die Optimierung verwendet wird.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")
# Perform tuning
lrn_tune <- tuneParams(learner = lrn,
task = task,
resampling = holdout,
control = ctrl_random,
par.set = param_set,
measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))