เมื่อไหร่ควรใช้ broadcast join
เมื่อรู้แล้วว่า shuffle คือคอขวดของประสิทธิภาพ ทีมของคุณที่ Global Retail Analytics ต้องการแก้ปัญหาคิวรีที่ทำงานช้า คิวรีนี้ join ตาราง sales_transactions (50 ล้านแถว) กับตาราง product_categories (2,000 แถว) ด้วย left join แบบปกติ และใช้เวลาทำงานนานกว่าสิบนาที คุณแนะนำให้เปลี่ยนมาใช้ broadcast join ด้วย F.broadcast()
เหตุใด broadcast join จึงทำให้คิวรีนี้เร็วขึ้น?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การแปลงข้อมูลด้วย Spark SQL ใน Databricks
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด