ÎncepețiÎncepe gratuit

Verifică supraadaptarea

Un AUC în eșantion foarte ridicat, cum ar fi \(99.9\%\), poate fi un indicator al supraadaptării (overfitting). Este posibil, de asemenea, ca setul tău de date să fie pur și simplu foarte bine structurat sau că modelul tău este excelent!

Pentru a verifica care dintre aceste situații este reală, trebuie să produci estimări AUC în afara eșantionului. Deoarece nu vrei să folosești setul de testare încă, poți obține aceste estimări prin validare încrucișată pe setul de antrenament.

Datele de antrenament, customers_train, și specificația arborelui bagged, spec_bagged, sunt încă disponibile în spațiul tău de lucru.

Acest exercițiu face parte din cursul

Machine Learning cu modele bazate pe arbori în R

Vezi cursul

Instrucțiuni pentru exercițiu

  • Folosind fit_resamples(), estimează metrica roc_auc cu trei folduri de validare încrucișată aplicate pe setul de antrenament și formula de model still_customer ~ total_trans_amt + customer_age + education_level.
  • Colectează metricile rezultatului pentru a afișa AUC-ul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

set.seed(55)

# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
                            ___, 
                            resamples = vfold_cv(___),
                            metrics = ___)

# Collect metrics
___(cv_results)
Editează și rulează codul