PySpark का इंटरैक्टिव उपयोग
Spark एक इंटरैक्टिव Python शेल के साथ आता है जिसमें PySpark पहले से इंस्टॉल होता है। PySpark शेल बुनियादी टेस्टिंग और डीबगिंग के लिए उपयोगी है और काफ़ी शक्तिशाली भी है। PySpark शेल की ताकत दिखाने का सबसे आसान तरीका एक अभ्यास से है। इस अभ्यास में, आप PySpark शेल में 1 से 100 तक की संख्याएँ रखने वाली एक सरल सूची लोड करेंगे।
यहाँ समझने वाली सबसे महत्वपूर्ण बात यह है कि हम कोई SparkContext ऑब्जेक्ट नहीं बना रहे हैं, क्योंकि PySpark शेल में PySpark अपने आप sc नाम का SparkContext ऑब्जेक्ट बना देता है।
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Big Data Fundamentals
अभ्यास निर्देश
numbनाम की एक Python सूची बनाएँ जिसमें 1 से 100 तक की संख्याएँ हों।- Spark Context की
parallelizeमेथड का उपयोग करके सूची को Spark में लोड करें और इसेspark_dataवैरिएबल को असाइन करें।
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)