Utvärdera en modell på test- och träningsdata
Funktionen auc_train_test beräknar AUC för en modell som byggs på ett train-set och utvärderas på ett test-set:
auc_train, auc_test = auc_train_test(variables, target, train, test)
Här är variables en lista med namnen på de variabler som används i modellen.
I den här övningen tillämpar du den här funktionen och kontrollerar om AUC för tränings- och testdata är liknande.
Den här övningen är en del av kursen
Introduktion till prediktiv analys i Python
Övningsinstruktioner
basetableär inläst. Dela upp basetable så att träningsuppsättningen innehåller 70 % av datan och se till att tränings- och testuppsättningen har samma målinkvidens.- Beräkna AUC för tränings- och testdata för modellen med
"age"och"gender_F"som prediktorer med hjälp av funktionenauc_train_test.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Load the partitioning module
from sklearn.model_selection import train_test_split
# Create DataFrames with variables and target
X = basetable.drop('target', 1)
y = basetable["target"]
# Carry out 70-30 partititioning with stratification
X_train, X_test, y_train, y_test = ____(X, y, test_size = ____, stratify = ____)
# Create the final train and test basetables
train = pd.concat([X_train, y_train], axis=1)
test = pd.concat([X_test, y_test], axis=1)
# Apply the auc_train_test function
auc_train, auc_test = ____([____, ____], ["target"], ____, ____)
print(round(auc_train,2))
print(round(auc_test,2))