定義彙整後的衡量指標
現在你要定義效能衡量指標。
knowledge_train_data 資料集已為你載入，mlr 與 tidyverse 套件也都已載入。以下程式碼也已經執行：
task <- makeClassifTask(data = knowledge_train_data,
target = "UNS")
lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)
param_set <- makeParamSet(
makeIntegerParam("size", lower = 1, upper = 5),
makeIntegerParam("maxit", lower = 1, upper = 300),
makeNumericParam("decay", lower = 0.0001, upper = 1)
)
ctrl_random <- makeTuneControlRandom(maxit = 10)
本練習屬於課程
R 的超參數調校
練習說明
- 使用
setAggregation函式，將效能指標的「標準差」進行彙整。 - 對「平均誤分類率」與「重抽樣後的準確率」套用
setAggregation。 - 以「平均誤分類率」來最佳化模型。記得第一個引數會用於最佳化。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")
# Perform tuning
lrn_tune <- tuneParams(learner = lrn,
task = task,
resampling = holdout,
control = ctrl_random,
par.set = param_set,
measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))