Створення булевого значення

Припустімо, що ви моделюєте запитання «так» або «ні»: чи рейс запізнився? Проте у ваших даних є затримка прильоту в хвилинах для кожного рейсу. Тож потрібно створити булевий стовпець, який показуватиме, чи був рейс із запізненням!

Ця вправа є частиною курсу

Основи PySpark

Переглянути курс

Інструкції до вправи

Використайте метод .withColumn(), щоб створити стовпець is_late. Цей стовпець дорівнює model_data.arr_delay > 0.
Перетворіть цей стовпець на цілий тип, щоб ви могли використати його у моделі, і назвіть його label (це стандартна назва цільової змінної у процедурах машинного навчання Spark).
Відфільтруйте пропущені значення (це вже зроблено за вас).

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create is_late
model_data = model_data.withColumn("is_late", ____)

# Convert to an integer
model_data = model_data.withColumn("label", ____)

# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")

Редагувати та запускати код