फ़ाइल आकार ऑप्टिमाइज़ेशन
मान लीजिए आपको 10 नोड वाले क्लस्टर पर 2 बड़े डेटा फाइल दिए गए हैं. हर फाइल में लगभग समान आकार की 10M पंक्तियाँ हैं. जब आप अपने डेटा पर काम करते हैं, तो रेस्पॉन्सिवनेस स्वीकार्य है, लेकिन फाइलों से शुरुआती रीड में काफ़ी समय लगता है. ध्यान दें कि डेटा का उपयोग केवल आप ही करेंगे और यह हर रन में बदलता है.
निम्न में से परफॉर्मेंस सुधारने का सबसे अच्छा विकल्प कौन सा है?
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ डेटा क्लीनिंग
इंटरैक्टिव व्यावहारिक अभ्यास
हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें
अभ्यास शुरू करें