शुरू करेंमुफ़्त में शुरू करें

Shuffle bottleneck को समझना

Global Retail Analytics में आपके मैनेजर आपसे online_retail डेटासेट (100,000 से अधिक पंक्तियाँ) को country_lookup (44 पंक्तियाँ) की region डेटा से समृद्ध करने को कहते हैं. आप एक सामान्य left join लिखते हैं, लेकिन क्वेरी में कई मिनट लग जाते हैं. एक सीनियर इंजीनियर आपके .explain() आउटपुट को देखता है, ShuffleExchange नोड्स पकड़ लेता है, और कहता है: "The shuffle is your bottleneck."

सीनियर इंजीनियर "the shuffle" से क्या मतलब रखते हैं?

यह अभ्यास पाठ्यक्रम का हिस्सा है

Databricks में Spark SQL के साथ Data Transformation

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें

अभ्यास शुरू करें