Chuyển một Spark DataFrame sang pandas
Giả sử bạn đã chạy một truy vấn trên bộ dữ liệu khổng lồ và tổng hợp nó lại thành thứ gì đó dễ xử lý hơn.
Đôi khi sẽ hợp lý nếu lấy bảng đó và làm việc cục bộ bằng công cụ như pandas. Spark DataFrame giúp việc này trở nên đơn giản với phương thức .toPandas(). Gọi phương thức này trên một Spark DataFrame sẽ trả về pandas DataFrame tương ứng. Đơn giản vậy thôi!
Lần này, truy vấn sẽ đếm số chuyến bay đến mỗi sân bay từ SEA và PDX.
Nhớ rằng trong không gian làm việc của bạn đã có sẵn một SparkSession tên là spark!
Bài tập này là một phần của khóa học
Nền tảng về PySpark
Hướng dẫn bài tập
- Chạy truy vấn bằng phương thức
.sql(). Lưu kết quả vàoflight_counts. - Dùng
.toPandas()trênflight_countsđể tạo mộtpandasDataFrame tênpd_counts. - In
.head()củapd_countsra màn hình.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Don't change this query
query = "SELECT origin, dest, COUNT(*) as N FROM flights GROUP BY origin, dest"
# Run the query
flight_counts = ____
# Convert the results to a pandas DataFrame
pd_counts = ____
# Print the head of pd_counts
print(____)