Поза межами простої точності
У цій вправі, щоб не обмежуватися лише точністю, ви оціните AUC ROC-кривої для базової моделі дерева рішень. Пам'ятайте, що базовим орієнтиром для випадкового класифікатора є AUC, що дорівнює 0,5, тож вам потрібно отримати вищий показник за 0,5.
X доступний як датафрейм з ознаками, а y — як датафрейм із цільовими значеннями. Також у вашому робочому середовищі доступні sklearn і pandas як pd.
Ми використаємо це налаштування, щоб подивитися на AUC нашої ROC-кривої.
Ця вправа є частиною курсу
Прогнозування CTR за допомогою машинного навчання в Python
Інструкції до вправи
- Розбийте дані на тренувальну та тестову вибірки.
- Навчіть класифікатор на тренувальних даних і зробіть передбачення для тестових даних за допомогою
predict_proba()таpredict(). - Оцініть площу під ROC-кривою (AUC), використовуючи функцію
roc_curve()дляy_testчерезroc_curve(y_test, y_score[:, 1]).
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Training and testing
X_train, X_test, y_train, y_test = \
____(X, y, test_size = .2, random_state = 0)
# Create decision tree classifier
clf = DecisionTreeClassifier()
# Train classifier - predict probability score and label
y_score = clf.fit(____, ____).predict_proba(____)
y_pred = clf.fit(____, ____).predict(____)
# Get ROC curve metrics
fpr, tpr, thresholds = ____(____, y_score[:, 1])
roc_auc = auc(fpr, tpr)
print(roc_auc)