Агрегирование II

Чтобы вы лучше познакомились со встроенными методами агрегирования, предлагаем ещё несколько упражнений с таблицей flights!

Напомним: объект SparkSession с именем spark уже доступен в вашем рабочем пространстве, как и DataFrame flights.

Это упражнение является частью курса

Основы PySpark

Посмотреть курс

Инструкции к упражнению

Используйте метод .avg(), чтобы вычислить среднее время в воздухе для рейсов авиакомпании Delta Airlines (где столбец carrier содержит значение "DL"), вылетевших из SEA. Место отправления хранится в столбце origin. Выведите результат с помощью show().
Используйте метод .sum(), чтобы подсчитать суммарное количество часов, которые все самолёты в этом наборе данных провели в воздухе. Для этого создайте столбец duration_hrs на основе столбца air_time. Выведите результат с помощью show().

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()

# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()

Редактировать и запускать код