집계 지표 정의하기
이제 성능 지표를 정의해 보겠습니다.
knowledge_train_data 데이터셋은 이미 불러와졌고, mlr와 tidyverse 패키지도 로드되어 있습니다. 또한 아래 코드가 미리 실행되어 있습니다:
task <- makeClassifTask(data = knowledge_train_data,
target = "UNS")
lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)
param_set <- makeParamSet(
makeIntegerParam("size", lower = 1, upper = 5),
makeIntegerParam("maxit", lower = 1, upper = 300),
makeNumericParam("decay", lower = 0.0001, upper = 1)
)
ctrl_random <- makeTuneControlRandom(maxit = 10)
이 연습은 강의의 일부입니다
R에서 하이퍼파라미터 튜닝
연습 안내
- 성능 지표의 표준편차를 집계하는
setAggregation함수를 사용하세요. setAggregation을 리샘플링 후 평균 오분류율과 정확도에 적용하세요.- 모델을 평균 오분류율 기준으로 최적화하세요. 첫 번째 인수가 최적화에 사용된다는 점을 기억하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")
# Perform tuning
lrn_tune <- tuneParams(learner = lrn,
task = task,
resampling = holdout,
control = ctrl_random,
par.set = param_set,
measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))