AUC を比較する
異なるモデルを比較することは、モデル選択の中心となる作業です。最後の2つの演習では、このコースで扱ったすべての種類のモデル(決定木、バギング木、ランダムフォレスト、勾配ブースティング)を横断してモデル比較を行います。
各モデルは最適にチューニングされ、同じ学習用データ customers_train で学習し、customers_test データセットに対して予測を行いました。結果は数値の確率で、セッション内の preds_combined として利用できます。
tibble [1,011 × 5]
$ preds_tree : 0.144 0.441 ...
$ preds_bagging : 0.115 0.326 ...
$ preds_forest : 0 0 0 0.286 ...
$ preds_boosting: 0.136 0.149 ...
$ still_customer: "no","no", ...
この演習はコースの一部です
Rで学ぶTree-Based ModelsによるMachine Learning
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Calculate the AUC for each model
auc_tree <- ___(preds_combined, truth = ___, estimate = ___)
auc_bagged <- ___(preds_combined, truth = ___, estimate = ___)
auc_forest <- ___(preds_combined, truth = ___, estimate = ___)
auc_boost <- ___(preds_combined, truth = ___, estimate = ___)
# Print the results
auc_tree
auc_bagged
auc_forest
auc_boost