Agregări complexe
Pentru a te familiariza cu mai multe metode de agregare integrate, hai să facem o agregare puțin mai complexă! Scopul este să combini toate aceste comenzi într-o singură linie.
Reține că o sesiune SparkSession numită spark este deja disponibilă în spațiul tău de lucru, împreună cu DataFrame-ul Spark salaries_df.
Acest exercițiu face parte din cursul
Introducere în PySpark
Instrucțiuni pentru exercițiu
- Calculează salariul mediu al companiilor mari din SUA folosind coloana
"salary_in_usd". - Calculează suma totală a salariilor companiilor mari din SUA.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()