Agregaciones complejas
Para que te familiarices con más métodos de agregación integrados, ¡hagamos una agregación un poco más compleja! El objetivo es combinar todos estos comandos en una sola línea.
Recuerda que ya tienes en tu entorno una SparkSession llamada spark, junto con el DataFrame de Spark salaries_df.
Este ejercicio forma parte del curso
Introducción a PySpark
Instrucciones del ejercicio
- Calcula el salario medio de las grandes empresas de EE. UU. usando la columna
"salary_in_usd". - Calcula el salario total de las grandes empresas de EE. UU.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()