PySpark dosyalarını çalıştırma

Bu egzersizde spark-submit kullanarak bir PySpark dosyası çalıştıracaksın. Bu araç, uygulamanı bir Spark kümesine göndermene yardımcı olur.

Bu egzersiz için, 4 iş parçacığında çalışan yerel bir Spark örneğiyle çalışacaksın. Göndermen gereken dosya /home/repl/spark-script.py konumunda. Dosyayı okumakta özgürsün:

cat /home/repl/spark-script.py

spark-submit komutunu aşağıdaki gibi kullanabilirsin:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Bu komut ne çıktı verir? Sonuçların gelmesi birkaç saniye sürebilir.