Проверка оценки на out-of-bag выборке
Теперь проверим оценку на out-of-bag выборке для модели из предыдущего упражнения.
До этого вы использовали метрику F1 для оценки качества. Однако в этом упражнении следует использовать метрику точности (accuracy), чтобы удобно сравнить её с оценкой на out-of-bag выборке.
Классификатор на основе дерева решений из предыдущего упражнения, clf_dt, доступен в вашем рабочем пространстве.
Набор данных pokemon уже загружен и разбит на обучающую и тестовую выборки.
Кроме того, классификатор на основе дерева решений обучен и доступен как clf_dt для использования в качестве базового алгоритма.
Это упражнение является частью курса
Ансамблевые методы в Python
Инструкции к упражнению
- Создайте классификатор бэггинга, используя дерево решений в качестве базового алгоритма и 21 оценщик. На этот раз включите оценку на out-of-bag выборке, передав соответствующий аргумент в параметр
oob_score. - Выведите на экран значение оценки на out-of-bag выборке.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Build and train the bagging classifier
clf_bag = ____(
____,
____,
____,
random_state=500)
clf_bag.fit(X_train, y_train)
# Print the out-of-bag score
print('OOB-Score: {:.3f}'.format(____))
# Evaluate the performance on the test set to compare
pred = clf_bag.predict(X_test)
print('Accuracy: {:.3f}'.format(accuracy_score(y_test, pred)))