ComeçarComece de graça

Definir medidas agregadas

Agora, você vai definir medidas de desempenho. O conjunto de dados knowledge_train_data já foi carregado para você, assim como os pacotes mlr e tidyverse. E o código a seguir também já foi executado:

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("size", lower = 1, upper = 5),
  makeIntegerParam("maxit", lower = 1, upper = 300),
  makeNumericParam("decay", lower = 0.0001, upper = 1)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

Este exercício faz parte do curso

Ajuste de hiperparâmetros em R

Ver curso

Instruções do exercício

  • Use a função setAggregation, que agrega o desvio padrão das métricas de desempenho.
  • Aplique setAggregation ao erro médio de classificação incorreta e à acurácia após o reamostramento.
  • Otimize seu modelo pelo erro médio de classificação incorreta. Lembre-se de que o primeiro argumento é usado para a otimização.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, 
                       task = task, 
                       resampling = holdout, 
                       control = ctrl_random, 
                       par.set = param_set,
                       measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))
Editar e executar o código