De forward stepwise-variabelenselectie levert een volgorde op waarin variabelen optimaal aan de set voorspellers worden toegevoegd. Om te bepalen waar je de variabelen afkapt, kun je de train- en test-AUC-curves maken. Deze curves plotten de train- en test-AUC met de eerste, eerste twee, eerste drie, … variabelen in het model.

In deze oefening leer je deze AUC-curves te plotten. De methode auc_train_test om de AUC-waarden te berekenen is al voor je geïmplementeerd en kan als volgt worden gebruikt:

auc_train, auc_test = auc_train_test(variables, target, train, test)

waarbij variables de set variabelen is die in het logistische regressiemodel worden gebruikt, target een lijst met de doelvariabele bevat, en train en test respectievelijk de train- en test-basetable zijn.

De variabelen geordend volgens de forward stepwise-procedure staan in de lijst variables. Je kunt deze in de console bekijken. Daarnaast zijn er drie lege lijsten voor je gedefinieerd:

auc_values_train, die de train-AUC-waarden van het model per iteratie zal bevatten
auc_values_test, die de test-AUC-waarden van het model per iteratie zal bevatten
variables_evaluate, die de variabelen zal bevatten die in elke iteratie worden geëvalueerd

De cut-off bepalen

Introductie tot Predictive Analytics in Python

Praktische interactieve oefening