1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Machine Learning with Tree-Based Models in R
Connected

cvičení

Zkontroluj přeučení

Velmi vysoká hodnota AUC na trénovacích datech, jako je \(99,9\%\), může být příznakem přeučení. Je ale také možné, že tvoje data jsou prostě velmi dobře strukturovaná, nebo je model skutečně skvělý!

Abys zjistil/a, co platí, potřebuješ odhadnout AUC na nových datech. Protože ale nechceš zatím sáhnout na testovací sadu, použij k tomu křížovou validaci na trénovací sadě.

Trénovací data customers_train a specifikace modelu se sáčkováním spec_bagged jsou stále dostupné v pracovním prostředí.

Pokyny

100 XP
  • Pomocí fit_resamples() odhadni metriku roc_auc s využitím tří foldů křížové validace na trénovací sadě a vzorce modelu still_customer ~ total_trans_amt + customer_age + education_level.
  • Shromáždi metriky výsledku, aby se zobrazila hodnota AUC.