建立盒鬚圖
caret 提供多種用來比較模型的方法,這些方法都以 resamples() 函式為基礎。我最喜歡的是盒鬚圖,因為它能讓你比較兩個模型預測準確度分佈(這裡是 AUC)。
一般來說,你會偏好中位數 AUC 較高,且最小與最大 AUC 差距較小的模型。
你可以使用 bwplot() 函式繪製這個圖,它會繪出模型在樣本外分數的盒鬚圖。盒鬚圖會以一條線表示每個分佈的中位數,並以方框表示中位數周圍的四分位距。你可以在 bwplot() 中傳入 metric = "ROC",來顯示模型樣本外 ROC 分數的圖,並據此選擇中位數 ROC 最高的模型。
如果你沒有指定要繪製的評估指標,bwplot() 會自動繪出 3 個指標。
本練習屬於課程
使用 R 的 caret 進行 Machine Learning
練習說明
將 resamples 物件傳入 bwplot() 函式以建立盒鬚圖。查看產生的圖,記下哪個模型的 ROC 中位數較高。請務必指定你要繪製的評估指標。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create bwplot