Оценка модели
Помните тестовую выборку, которую вы отложили ещё в третьей главе? Наконец-то пришло время проверить на ней модель! Для этого можно использовать тот же оценщик, который вы создавали при обучении.
Это упражнение является частью курса
Основы PySpark
Инструкции к упражнению
- Сгенерируйте предсказания с помощью модели, применив
best_lr.transform()к даннымtest. Сохраните результат в переменнуюtest_results. - Вызовите
evaluator.evaluate()наtest_results, чтобы вычислить AUC. Выведите результат на экран.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Use the model to predict the test set
test_results = best_lr.____(____)
# Evaluate the predictions
print(evaluator.evaluate(____))