Создание оценщика
Первое, что нужно при кросс-валидации для выбора модели, — это способ сравнивать разные модели между собой. К счастью, подмодуль pyspark.ml.evaluation содержит классы для оценки различных типов моделей. Ваша модель является моделью бинарной классификации, поэтому вы будете использовать BinaryClassificationEvaluator из модуля pyspark.ml.evaluation.
Этот оценщик вычисляет площадь под ROC-кривой. Данная метрика объединяет два вида ошибок, которые может допускать бинарный классификатор (ложноположительные и ложноотрицательные срабатывания), в одно число. Подробнее об этом вы узнаете в конце главы!
Это упражнение является частью курса
Основы PySpark
Инструкции к упражнению
- Импортируйте подмодуль
pyspark.ml.evaluationпод псевдонимомevals. - Создайте объект
evaluator, вызвавevals.BinaryClassificationEvaluator()с аргументомmetricName="areaUnderROC".
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import the evaluation submodule
import ____ as evals
# Create a BinaryClassificationEvaluator
evaluator = ____