Évaluer un modèle sur les ensembles d’entraînement et de test

La fonction auc_train_test calcule l’AUC d’un modèle entraîné sur un ensemble train et évalué sur un ensemble test :

auc_train, auc_test = auc_train_test(variables, target, train, test)

où variables est une liste des noms des variables utilisées dans le modèle.

Dans cet exercice, vous allez appliquer cette fonction et vérifier si les AUC d’entraînement et de test sont similaires.

Cet exercice fait partie du cours

Introduction à l’analytique prédictive en Python

Afficher le cours

Instructions

Le basetable est chargé. Partitionnez-le de sorte que l’ensemble d’entraînement contienne 70 % des données, et assurez-vous que les ensembles d’entraînement et de test aient une incidence de la cible identique.
Calculez les AUC d’entraînement et de test du modèle en utilisant "age" et "gender_F" comme prédicteurs avec la fonction auc_train_test.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load the partitioning module
from sklearn.model_selection import train_test_split

# Create DataFrames with variables and target
X = basetable.drop('target', 1)
y = basetable["target"]

# Carry out 70-30 partititioning with stratification
X_train, X_test, y_train, y_test = ____(X, y, test_size = ____, stratify = ____)

# Create the final train and test basetables
train = pd.concat([X_train, y_train], axis=1)
test = pd.concat([X_test, y_test], axis=1)

 # Apply the auc_train_test function
auc_train, auc_test = ____([____, ____], ["target"], ____, ____)
print(round(auc_train,2))
print(round(auc_test,2))

Modifier et exécuter le code