Začněte nyníZačněte zdarma

Zkontroluj přeučení

Velmi vysoká hodnota AUC na trénovacích datech, jako je \(99,9\%\), může být příznakem přeučení. Je ale také možné, že tvoje data jsou prostě velmi dobře strukturovaná, nebo je model skutečně skvělý!

Abys zjistil/a, co platí, potřebuješ odhadnout AUC na nových datech. Protože ale nechceš zatím sáhnout na testovací sadu, použij k tomu křížovou validaci na trénovací sadě.

Trénovací data customers_train a specifikace modelu se sáčkováním spec_bagged jsou stále dostupné v pracovním prostředí.

Toto cvičení je součástí kurzu

Machine Learning with Tree-Based Models in R

Zobrazit kurz

Pokyny k cvičení

  • Pomocí fit_resamples() odhadni metriku roc_auc s využitím tří foldů křížové validace na trénovací sadě a vzorce modelu still_customer ~ total_trans_amt + customer_age + education_level.
  • Shromáždi metriky výsledku, aby se zobrazila hodnota AUC.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

set.seed(55)

# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
                            ___, 
                            resamples = vfold_cv(___),
                            metrics = ___)

# Collect metrics
___(cv_results)
Upravit a spustit kód