Phân tích với SQL trên DataFrame
Truy vấn SQL ngắn gọn và dễ chạy hơn so với thao tác trực tiếp trên DataFrame. Nhưng để áp dụng truy vấn SQL lên một DataFrame, trước tiên bạn cần tạo một temporary view (bảng tạm) từ DataFrame đó, rồi chạy truy vấn SQL trên bảng vừa tạo.
Bạn đã có sẵn SparkContext spark và salaries_df trong không gian làm việc.
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Tạo bảng tạm
"salaries_table"từ DataFramesalaries_df. - Viết truy vấn để lấy cột "job_title" cho các bản ghi có
company_locationở Canada ("CA"). - Áp dụng truy vấn SQL và tạo DataFrame mới
canada_titles. - Lấy phần tóm tắt của bảng.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a temporary view of salaries_table
salaries_df.____('salaries_table')
# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''
# Apply the SQL "query"
canada_titles = spark.____(____)
# Generate basic statistics
canada_titles.____().show()