Agrégation II
Afin de vous familiariser davantage avec les méthodes d'agrégation intégrées, voici quelques exercices supplémentaires utilisant la table flights.
Veuillez noter qu'un SparkSession nommé spark se trouve déjà dans votre espace de travail, ainsi que le Spark DataFrame flights.
Cet exercice fait partie du cours
<cours>Principes fondamentaux de PySpark</cours>Instructions de l’exercice
- Utilisez la méthode
.avg()pour obtenir la durée moyenne de vol des vols Delta Airlines (pour lesquels la colonnecarriera la valeur"DL") au départ de SEA. Le lieu de départ est enregistré dans la colonneorigin. Veuillez consulter le résultat à l'adresse suivante :show(). - Utilisez la méthode
.sum()pour obtenir le nombre total d'heures que tous les avions de cet ensemble de données ont passé en vol en créant une colonne intituléeduration_hrsà partir de la colonneair_time.show()le résultat.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()
# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()