So sánh join broadcast và join thường
Bạn đã tạo hai kiểu join: thường và broadcast. Giờ quản lý muốn biết mức cải thiện hiệu năng khi dùng các tối ưu của Spark. Nếu kết quả khả quan, bạn sẽ có thêm cơ hội tinh chỉnh cấu hình Spark khi cần.
Các DataFrame normal_df và broadcast_df đã sẵn sàng để bạn sử dụng.
Bài tập này là một phần của khóa học
Làm sạch dữ liệu với PySpark
Hướng dẫn bài tập
- Gọi
.count()trên DataFrame thường. - Gọi
.count()trên DataFrame broadcast. - In ra số lượng và thời gian chạy của các DataFrame, lưu ý những điểm khác biệt.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
start_time = time.time()
# Count the number of rows in the normal DataFrame
normal_count = ____
normal_duration = time.time() - start_time
start_time = time.time()
# Count the number of rows in the broadcast DataFrame
broadcast_count = ____
broadcast_duration = time.time() - start_time
# Print the counts and the duration of the tests
print("Normal count:\t\t%d\tduration: %f" % (normal_count, normal_duration))
print("Broadcast count:\t%d\tduration: %f" % (broadcast_count, broadcast_duration))