Agrégations complexes
Pour vous familiariser avec d'autres méthodes d'agrégation intégrées, faisons une agrégation un peu plus complexe ! L'objectif est de regrouper toutes ces commandes sur une seule ligne.
N'oubliez pas qu'une SparkSession nommée spark est déjà disponible dans votre espace de travail, ainsi que le DataFrame Spark salaries_df.
Cette activité fait partie du cours
Introduction à PySpark
Instructions de l’exercice
- Calculez la moyenne des salaires des grandes entreprises américaines à partir de la colonne
"salary_in_usd". - Calculez le total des salaires des grandes entreprises américaines.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()