始める無料で始める

集約済み指標を定義する

ここでは、評価指標（performance measures）を定義します。 knowledge_train_data データセットはすでに読み込まれており、mlr と tidyverse パッケージも利用可能です。次のコードも実行済みです。

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.nnet", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("size", lower = 1, upper = 5),
  makeIntegerParam("maxit", lower = 1, upper = 300),
  makeNumericParam("decay", lower = 0.0001, upper = 1)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

この演習はコースの一部です

R によるハイパーパラメータチューニング

コースを見る

演習の手順

  • 性能指標の標準偏差を集約する setAggregation 関数を使いましょう。
  • setAggregation を平均誤分類率（mean misclassification error）と再サンプリング後の正解率（accuracy after resampling）に適用します。
  • モデルは平均誤分類率で最適化します。最初の引数が最適化に使われることを忘れないでください。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create holdout sampling
holdout <- makeResampleDesc("Holdout", predict = "both")

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, 
                       task = task, 
                       resampling = holdout, 
                       control = ctrl_random, 
                       par.set = param_set,
                       measures = list(___, ___(___, train.mean), ___, ___(___, train.mean)))
コードを編集して実行