Агрегування II

Щоб ви краще ознайомилися з вбудованими методами агрегування, ось ще кілька вправ із таблицею flights!

Пам'ятайте, у вашому робочому середовищі вже є SparkSession під назвою spark, а також датафрейм Spark flights.

Ця вправа є частиною курсу

Основи PySpark

Переглянути курс

Інструкції до вправи

Використайте метод .avg(), щоб отримати середній час у повітрі для рейсів Delta Airlines (де у стовпчику carrier значення "DL"), що вилетіли з SEA. Місце відправлення зберігається у стовпчику origin. Виконайте show() для результату.
Використайте метод .sum(), щоб отримати загальну кількість годин, які всі літаки в цьому наборі даних провели в повітрі, створивши стовпчик duration_hrs зі стовпчика air_time. Виконайте show() для результату.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()

# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()

Редагувати та запускати код