Kom igångKom igång gratis

Kontrollera för överanpassning

Ett mycket högt in-sample AUC, som \(99,9\%\), kan vara ett tecken på överanpassning. Det är också möjligt att din datamängd helt enkelt är välstrukturerad, eller att modellen faktiskt presterar utmärkt!

För att ta reda på vilket som stämmer behöver du ta fram out-of-sample-skattningar av ditt AUC. Eftersom du inte vill använda testmängden ännu kan du göra det med korsvalidering på träningsdatan.

Din träningsdata, customers_train, och specifikationen för det baggade trädet, spec_bagged, finns fortfarande tillgängliga i din arbetsmiljö.

Den här övningen är en del av kursen

Maskininlärning med trädbaserade modeller i R

Visa kurs

Övningsinstruktioner

  • Använd fit_resamples() för att skatta måttet roc_auc med tre korsvalideringsfolds av träningsdatan och modellformeln still_customer ~ total_trans_amt + customer_age + education_level.
  • Samla in måtten från resultatet för att visa AUC-värdet.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

set.seed(55)

# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
                            ___, 
                            resamples = vfold_cv(___),
                            metrics = ___)

# Collect metrics
___(cv_results)
Redigera och kör kod