Работа со столбцами

По стандартам Федерального авиационного управления (FAA) рейс считается «задержанным», если он прибывает на 15 минут или более позже расписания.

Следующий шаг подготовки данных о рейсах включает две части:

преобразование единиц расстояния: заменить столбец mile на столбец km;
создание булевого столбца, указывающего, был ли рейс задержан.

Это упражнение является частью курса

Машинное обучение с PySpark

Посмотреть курс

Инструкции к упражнению

Импортируйте функцию, которая позволяет округлить число до заданного количества десятичных знаков.
На основе столбца mile создайте новый столбец km, округлив значения до нуля десятичных знаков. Один миль равен 1,60934 км.
Удалите столбец mile.
Создайте столбец label со значением 1, если задержка составила 15 минут и более, и 0 в остальных случаях. Внимательно продумайте логическое условие.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the required function
from pyspark.sql.functions import ____

# Convert 'mile' to 'km' and drop 'mile' column (1 mile is equivalent to 1.60934 km)
flights_km = flights.____('km', ____(____ * ____, 0)) \
                    .____('mile')

# Create 'label' column indicating whether flight delayed (1) or not (0)
flights_km = flights_km.____('label', (____).cast('integer'))

# Check first five records
flights_km.show(5)

Редактировать и запускать код