Создание булева признака

Представьте, что вы моделируете ответ на вопрос «да или нет»: опоздал ли рейс? При этом в данных содержится задержка прибытия в минутах для каждого рейса. Значит, вам нужно создать булев столбец, который будет указывать, опоздал рейс или нет.

Это упражнение является частью курса

Основы PySpark

Посмотреть курс

Инструкции к упражнению

С помощью метода .withColumn() создайте столбец is_late. Значение этого столбца равно model_data.arr_delay > 0.
Преобразуйте этот столбец в целочисленный, чтобы использовать его в модели, и присвойте ему имя label (это имя по умолчанию для целевой переменной в процедурах машинного обучения Spark).
Отфильтруйте пропущенные значения (этот шаг уже выполнен за вас).

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create is_late
model_data = model_data.withColumn("is_late", ____)

# Convert to an integer
model_data = model_data.withColumn("label", ____)

# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")

Редактировать и запускать код