Evaluarea unui model pe seturile de antrenament și de testare

Funcția auc_train_test calculează AUC-ul unui model construit pe un set de train și evaluat pe un set de test:

auc_train, auc_test = auc_train_test(variables, target, train, test)

unde variables este o listă cu numele variabilelor utilizate în model.

În acest exercițiu, vei aplica această funcție și vei verifica dacă AUC-urile obținute pe setul de antrenament și pe cel de testare sunt similare.

Acest exercițiu face parte din cursul

Introducere în analitica predictivă în Python

Vezi cursul

Instrucțiuni pentru exercițiu

basetable este deja încărcat. Împarte basetable astfel încât setul de antrenament să conțină 70% din date și asigură-te că setul de antrenament și cel de testare au o incidență egală a variabilei țintă.
Calculează AUC-ul pe seturile de antrenament și de testare ale modelului, folosind "age" și "gender_F" ca predictori, prin intermediul funcției auc_train_test.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the partitioning module
from sklearn.model_selection import train_test_split

# Create DataFrames with variables and target
X = basetable.drop('target', 1)
y = basetable["target"]

# Carry out 70-30 partititioning with stratification
X_train, X_test, y_train, y_test = ____(X, y, test_size = ____, stratify = ____)

# Create the final train and test basetables
train = pd.concat([X_train, y_train], axis=1)
test = pd.concat([X_test, y_test], axis=1)

 # Apply the auc_train_test function
auc_train, auc_test = ____([____, ____], ["target"], ____, ____)
print(round(auc_train,2))
print(round(auc_test,2))

Editează și rulează codul