ทำความเข้าใจปัญหาคอขวดจาก Shuffle
ผู้จัดการของคุณที่ Global Retail Analytics ต้องการให้เพิ่มข้อมูลภูมิภาคจาก country_lookup (44 แถว) เข้าไปในชุดข้อมูล online_retail (กว่า 100,000 แถว) คุณเขียน left join แบบปกติ แต่คิวรีใช้เวลาหลายนาที วิศวกรอาวุโสตรวจสอบผลลัพธ์จาก .explain() ของคุณ พบโหนด ShuffleExchange และบอกว่า "shuffle คือคอขวดของคุณ"
วิศวกรอาวุโสหมายความว่าอย่างไรเมื่อพูดถึง "shuffle"?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การแปลงข้อมูลด้วย Spark SQL ใน Databricks
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด