定义聚合度量
现在，您将定义性能度量。
数据集 knowledge_train_data、以及 mlr 和 tidyverse 包均已为您加载。以下代码也已运行：
task <- makeClassifTask(data = knowledge_train_data,
target = "UNS")
lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)
param_set <- makeParamSet(
makeIntegerParam("size", lower = 1, upper = 5),
makeIntegerParam("maxit", lower = 1, upper = 300),
makeNumericParam("decay", lower = 0.0001, upper = 1)
)
ctrl_random <- makeTuneControlRandom(maxit = 10)
本练习是课程的一部分
R 中的超参数调优
练习说明
- 使用
setAggregation函数，对性能指标的标准差进行聚合。 - 将
setAggregation应用于平均误分类错误率与重采样后的准确率。 - 按平均误分类错误率优化模型。请记住，第一个参数将用于优化。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")
# Perform tuning
lrn_tune <- tuneParams(learner = lrn,
task = task,
resampling = holdout,
control = ctrl_random,
par.set = param_set,
measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))