PySpark फाइलें चलाना

इस अभ्यास में, आप spark-submit का उपयोग करके एक PySpark फाइल चलाएँगे। यह टूल आपकी एप्लिकेशन को एक Spark क्लस्टर पर सबमिट करने में मदद करता है।

इस अभ्यास के लिए, आप 4 थ्रेड्स पर चल रहे एक लोकल Spark इंस्टेंस के साथ काम करेंगे। जो फाइल आपको सबमिट करनी है वह /home/repl/spark-script.py में है। फाइल पढ़ने के लिए स्वतंत्र हैं:

cat /home/repl/spark-script.py

आप spark-submit को इस तरह इस्तेमाल कर सकते हैं:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

यह क्या आउटपुट देता है? ध्यान दें कि परिणाम आने में कुछ सेकंड लग सकते हैं.