CommencezCommencez gratuitement

Agrégations II

Pour vous familiariser avec d'autres méthodes d'agrégation intégrées, voici quelques exercices supplémentaires avec la table flights !

N'oubliez pas : une SparkSession nommée spark est déjà disponible dans votre espace de travail, ainsi que le DataFrame Spark flights.

Cette activité fait partie du cours

Fondements de PySpark

Voir le cours

Instructions de l’exercice

  • Utilisez la méthode .avg() pour obtenir le temps de vol moyen des vols de Delta Airlines (où la colonne carrier a la valeur "DL") partis de SEA. Le lieu de départ se trouve dans la colonne origin. show() le résultat.
  • Utilisez la méthode .sum() pour obtenir le nombre total d'heures passées en vol par tous les appareils de cet ensemble de données en créant une colonne appelée duration_hrs à partir de la colonne air_time. show() le résultat.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()

# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()
Modifier et exécuter le code