Chạy truy vấn SQL bằng lập trình
Bạn có thể thao tác DataFrame rất dễ dàng bằng các truy vấn SQL trong PySpark. Hàm sql() trong SparkSession cho phép ứng dụng chạy truy vấn SQL một cách lập trình và trả về kết quả dưới dạng một DataFrame khác. Trong bài tập này, bạn sẽ tạo một bảng tạm từ DataFrame mà bạn đã tạo trước đó, sau đó viết một truy vấn để chọn tên của những người trong bảng tạm và gán kết quả vào một DataFrame mới.
Hãy nhớ rằng bạn đã có sẵn SparkSession spark và một DataFrame trong không gian làm việc của mình.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- Tạo bảng tạm
people. - Tạo
queryđể chọn tên của những người từ bảng tạmpeople. - Gán kết quả của
querycủa Spark vào một DataFrame mới -people_df_names. - In 10 tên đầu tiên từ DataFrame
people_df_names.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a temporary table "people"
people_df.____("people")
# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)