SparkContext को समझना
इस अभ्यास में आप SparkContext से परिचित होंगे.
आप शायद देखेंगे कि कोड आपकी अपेक्षा से धीमा चलता है. ऐसा इसलिए है क्योंकि Spark एक भारी-भरकम सॉफ्टवेयर है. इसे स्टार्ट होने में सामान्य से ज्यादा समय लगता है. आपको यह भी लग सकता है कि साधारण कम्प्यूटेशन चलाने में अपेक्षा से अधिक समय लग रहा है. इसका कारण है कि Spark के अंदर मौजूद ऑप्टिमाइज़ेशन बड़े डेटा सेट और जटिल ऑपरेशंस के लिए बनाए गए हैं. यानी सरल या छोटे समस्याओं के लिए Spark वास्तव में कुछ दूसरी तकनीकों से बदतर प्रदर्शन कर सकता है!
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark की नींव
अभ्यास निर्देश
SparkContext से परिचित होइए.
- अपने एनवायरनमेंट में
SparkContextमौजूद है, यह जाँचने के लिएscपरprint()कॉल करें. - अपने क्लस्टर पर कौन-सा Spark वर्ज़न चल रहा है, यह देखने के लिए
sc.versionकोprint()करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Verify SparkContext
print(____)
# Print Spark version
print(____)