เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ทำความเข้าใจปัญหาคอขวดจาก Shuffle

ผู้จัดการของคุณที่ Global Retail Analytics ต้องการให้เพิ่มข้อมูลภูมิภาคจาก country_lookup (44 แถว) เข้าไปในชุดข้อมูล online_retail (กว่า 100,000 แถว) คุณเขียน left join แบบปกติ แต่คิวรีใช้เวลาหลายนาที วิศวกรอาวุโสตรวจสอบผลลัพธ์จาก .explain() ของคุณ พบโหนด ShuffleExchange และบอกว่า "shuffle คือคอขวดของคุณ"

วิศวกรอาวุโสหมายความว่าอย่างไรเมื่อพูดถึง "shuffle"?

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การแปลงข้อมูลด้วย Spark SQL ใน Databricks

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด