Đọc CSV và thực hiện phép tổng hợp
Bạn có một bảng tính về mức lương Data Scientist từ các công ty có quy mô từ nhỏ đến lớn. Bạn muốn xem liệu có sự khác biệt đáng kể giữa mức lương trung bình khi nhóm theo quy mô công ty hay không.
Lưu ý: Trong không gian làm việc của bạn đã có sẵn một SparkSession tên là spark!
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Tải tệp CSV thành một DataFrame và suy luận schema.
- Trả về số lượng hàng.
- Nhóm theo cột
company_sizevà tính lương trung bình vớisalary_in_usd.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load the CSV file into a DataFrame
salaries_df = ____("salaries.csv", header=True, inferSchema=____)
# Count the total number of rows
row_count = salaries_df.____
print(f"Total rows: {row_count}")
# Group by company size and calculate the average of salaries
salaries_df.____("company_size").____({"salary_in_usd": "avg"}).show()
salaries_df.show()