Agregações complexas
Para você se familiarizar com mais métodos de agregação nativos, vamos fazer uma agregação um pouco mais complexa! O objetivo é juntar todos esses comandos em uma única linha.
Lembre-se: uma SparkSession chamada spark já está no seu workspace, assim como o DataFrame do Spark salaries_df.
Este exercício faz parte do curso
Introdução ao PySpark
Instruções do exercício
- Calcule a média dos salários de grandes empresas dos EUA usando a coluna
"salary_in_usd". - Calcule o total dos salários de grandes empresas dos EUA.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()