Truy vấn trên temp view
Trong bài tập này, bạn sẽ luyện cách đăng ký một DataFrame làm temporary SQL view trong PySpark. Temporary view là một công cụ mạnh giúp bạn truy vấn dữ liệu bằng cú pháp SQL, khiến các thao tác dữ liệu phức tạp trở nên dễ và trực quan hơn. Mục tiêu của bạn là tạo một view từ DataFrame đã cho và chạy các truy vấn SQL trên đó, một tác vụ thường gặp trong công việc ETL và ELT.
Bạn đã có sẵn SparkContext, spark, và một PySpark DataFrame, df, trong không gian làm việc.
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Đăng ký một view mới tên
"data_view"từ DataFramedf. - Chạy truy vấn SQL đã cung cấp để tính tổng lương theo vị trí công việc.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()