Complexe aggregaties
Om je vertrouwd te maken met meer ingebouwde aggregatiemethoden, gaan we een iets complexere aggregatie doen! Het doel is om al deze opdrachten in één regel te combineren.
Onthoud: er staat al een SparkSession spark voor je klaar in je werkruimte, samen met de Spark DataFrame salaries_df.
Deze oefening maakt deel uit van de cursus
Introductie tot PySpark
Oefeninstructies
- Bereken het gemiddelde salaris van grote Amerikaanse bedrijven met de kolom
"salary_in_usd". - Bereken het totale salaris van grote Amerikaanse bedrijven.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()