Сложные агрегации
Чтобы познакомиться с другими встроенными методами агрегации, выполним задание немного сложнее! Цель — объединить все эти команды в одну строку.
Напомним, что в вашем рабочем пространстве уже доступны SparkSession с именем spark и Spark DataFrame salaries_df.
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Вычислите среднюю зарплату в крупных американских компаниях, используя столбец
"salary_in_usd". - Вычислите суммарный фонд заработной платы в крупных американских компаниях.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()