Các phép tổng hợp phức tạp
Để bạn làm quen với nhiều phương thức tổng hợp dựng sẵn hơn, hãy thực hiện một phép tổng hợp phức tạp hơn một chút! Mục tiêu là gộp tất cả các lệnh này vào một dòng.
Lưu ý, một SparkSession tên là spark đã có sẵn trong môi trường làm việc của bạn, cùng với Spark DataFrame salaries_df.
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Tính lương trung bình của các công ty lớn ở Mỹ dựa trên cột
"salary_in_usd". - Tính tổng lương của các công ty lớn ở Mỹ.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()