Avaliando um modelo em teste e treino
A função auc_train_test calcula a AUC de um modelo que é construído em um conjunto de train e avaliado em um conjunto de test:
auc_train, auc_test = auc_train_test(variables, target, train, test)
em que variables é uma lista com os nomes das variáveis usadas no modelo.
Neste exercício, você vai aplicar essa função e verificar se as AUC de treino e de teste são semelhantes.
Este exercício faz parte do curso
Introdução à Análise Preditiva em Python
Instruções do exercício
- O
basetablejá está carregado. Particione o basetable de forma que o conjunto de treino contenha 70% dos dados e garanta que treino e teste tenham a mesma incidência do alvo. - Calcule as AUC de treino e de teste do modelo usando
"age"e"gender_F"como preditores com a funçãoauc_train_test.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Load the partitioning module
from sklearn.model_selection import train_test_split
# Create DataFrames with variables and target
X = basetable.drop('target', 1)
y = basetable["target"]
# Carry out 70-30 partititioning with stratification
X_train, X_test, y_train, y_test = ____(X, y, test_size = ____, stratify = ____)
# Create the final train and test basetables
train = pd.concat([X_train, y_train], axis=1)
test = pd.concat([X_test, y_test], axis=1)
# Apply the auc_train_test function
auc_train, auc_test = ____([____, ____], ["target"], ____, ____)
print(round(auc_train,2))
print(round(auc_test,2))