Оцінювання моделі на тесті та тренуванні

Функція auc_train_test обчислює AUC моделі, яку побудовано на вибірці train та оцінено на вибірці test:

auc_train, auc_test = auc_train_test(variables, target, train, test)

де variables — це список назв змінних, що використовуються в моделі.

У цій вправі ви застосуєте цю функцію та перевірите, чи схожі значення AUC для train і test.

Ця вправа є частиною курсу

Вступ до прогностичної аналітики в Python

Переглянути курс

Інструкції до вправи

basetable вже завантажено. Розбийте її так, щоб тренувальна вибірка містила 70% даних, і переконайтеся, що у train і test однакова частка цільової події.
Обчисліть AUC на train і test для моделі з предикторами "age" і "gender_F", використовуючи функцію auc_train_test.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Load the partitioning module
from sklearn.model_selection import train_test_split

# Create DataFrames with variables and target
X = basetable.drop('target', 1)
y = basetable["target"]

# Carry out 70-30 partititioning with stratification
X_train, X_test, y_train, y_test = ____(X, y, test_size = ____, stratify = ____)

# Create the final train and test basetables
train = pd.concat([X_train, y_train], axis=1)
test = pd.concat([X_test, y_test], axis=1)

 # Apply the auc_train_test function
auc_train, auc_test = ____([____, ____], ["target"], ____, ____)
print(round(auc_train,2))
print(round(auc_test,2))

Редагувати та запускати код