Zacznij terazZacznij za darmo

Agregowanie II

Aby zapoznać cię z kolejnymi wbudowanymi metodami agregacji, przygotowaliśmy kilka dodatkowych ćwiczeń dotyczących tabeli flights!

Pamiętaj, że w twoim środowisku dostępna jest już sesja SparkSession o nazwie spark oraz DataFrame Spark o nazwie flights.

To ćwiczenie jest częścią kursu

Podstawy PySpark

Zobacz kurs

Instrukcje do ćwiczenia

  • Użyj metody .avg(), aby obliczyć średni czas lotu dla lotów linii Delta Airlines (gdzie kolumna carrier ma wartość "DL"), które wystartowały z SEA. Miejsce odlotu jest przechowywane w kolumnie origin. Wyświetl wynik za pomocą show().
  • Użyj metody .sum(), aby obliczyć łączną liczbę godzin spędzonych w powietrzu przez wszystkie samoloty w tym zbiorze danych. W tym celu utwórz kolumnę duration_hrs na podstawie kolumny air_time. Wyświetl wynik za pomocą show().

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()

# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()
Edytuj i uruchom kod