Chạy SQL trên DataFrame
DataFrame có thể được thao tác dễ dàng bằng truy vấn SQL trong PySpark. Phương thức .sql() trong SparkSession cho phép ứng dụng chạy truy vấn SQL theo lập trình và trả về kết quả dưới dạng một DataFrame khác. Trong bài tập này, bạn sẽ tạo một bảng tạm từ DataFrame mà bạn đã tạo trước đó, sau đó viết một truy vấn để chọn tên của mọi người từ bảng tạm và gán kết quả vào một DataFrame mới.
Lưu ý, bạn đã có sẵn SparkSession spark và DataFrame df trong không gian làm việc.
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Tạo một bảng tạm tên
"people"từ DataFramedf. - Viết truy vấn để chọn tên của mọi người từ bảng tạm
people. - Gán kết quả truy vấn của Spark vào một DataFrame mới gọi là
people_df_names. - In ra 10 tên đầu tiên từ DataFrame
people_df_names.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a temporary table "people"
df.____("people")
# Select the names from the temporary table people
query = """SELECT name FROM ____"""
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)