Hiểu về điểm nghẽn do shuffle
Quản lý của bạn tại Global Retail Analytics yêu cầu bạn làm giàu dữ liệu online_retail (hơn 100.000 hàng) với thông tin vùng từ country_lookup (44 hàng). Bạn viết một phép left join tiêu chuẩn, nhưng truy vấn mất vài phút. Một kỹ sư cấp cao kiểm tra đầu ra .explain(), phát hiện các nút ShuffleExchange và nói: "Shuffle là điểm nghẽn của bạn."
Kỹ sư cấp cao muốn nói gì khi đề cập đến "shuffle"?
Bài tập này là một phần của khóa học
Chuyển đổi dữ liệu với Spark SQL trong Databricks
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập