Vytvoř krabicový graf
caret nabízí různé metody pro porovnávání modelů. Všechny tyto metody jsou založeny na funkci resamples(). Oblíbenou volbou je krabicový graf (box-and-whisker plot), který umožňuje porovnat rozložení prediktivní přesnosti (v tomto případě AUC) pro oba modely.
Obecně platí, že chceš model s vyšší mediánovou hodnotou AUC a zároveň s menším rozsahem mezi minimální a maximální hodnotou AUC.
Tento graf vytvoříš pomocí funkce bwplot(), která zobrazí krabicový graf skóre modelu na vzorku mimo trénovací data. Krabicové grafy znázorňují medián každého rozdělení jako čáru a mezikvartilové rozpětí jako obdélník kolem této čáry. Funkci bwplot() můžeš předat argument metric = "ROC", čímž zobrazíš graf ROC skóre modelu na datech mimo trénovací sadu a snáze vybereš model s nejvyšším mediánovým ROC.
Pokud metriku nezadáš, bwplot() automaticky zobrazí 3 metriky najednou.
Toto cvičení je součástí kurzu
Machine Learning s balíčkem caret v R
Pokyny k cvičení
Předej objekt resamples funkci bwplot() a vytvoř krabicový graf. Prohlédni si výsledný graf a všimni si, který model má vyšší mediánovou hodnotu statistiky ROC. Nezapomeň zadat, kterou metriku chceš zobrazit.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create bwplot