1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Machine Learning s balíčkem caret v R
Connected

cvičení

Přizpůsobení funkce trainControl

Jak jsi viděl/a ve videu, plocha pod ROC křivkou (AUC) je velmi užitečný souhrnný ukazatel – jediné číslo, které říká, jak dobře model rozlišuje pozitivní třídu od negativní (například miny od skalisek). AUC 0,5 není lepší než náhodný odhad, AUC 1,0 odpovídá dokonale prediktivnímu modelu a AUC 0,0 znamená dokonale anti-prediktivní model (což se stává jen velmi zřídka).

Tato metrika je často mnohem užitečnější než pouhé porovnávání modelů podle přesnosti při pevně stanoveném prahu. Různé modely totiž mohou vyžadovat různé kalibrační kroky (například postupné prohlížení matice záměn), aby se pro daný model našel optimální klasifikační práh.

Funkci trainControl() v balíčku caret lze nastavit tak, aby místo přesnosti používala AUC pro ladění parametrů modelu. Snadno to umožní pomocná funkce twoClassSummary().

Pokud používáš twoClassSummary(), nezapomeň vždy zahrnout argument classProbs = TRUE – jinak model vyhodí chybu! (AUC nelze spočítat jen z predikovaných tříd. Potřebuješ k tomu i pravděpodobnosti tříd.)

Pokyny

100 XP
  • Uprav objekt trainControl tak, aby místo defaultSummary používal twoClassSummary.
  • Použij 10násobnou křížovou validaci.
  • Nezapomeň funkci trainControl() říct, aby vracela pravděpodobnosti tříd.