Uruchamianie plików PySpark

W tym ćwiczeniu uruchomisz plik PySpark za pomocą narzędzia spark-submit. Pozwala ono przesłać aplikację do klastra Spark.

Na potrzeby tego ćwiczenia będziesz pracować z lokalną instancją Spark uruchomioną na 4 wątkach. Plik do przesłania znajduje się pod ścieżką /home/repl/spark-script.py. Możesz go podejrzeć poleceniem:

cat /home/repl/spark-script.py

Aby uruchomić skrypt, użyj spark-submit w następujący sposób:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Co pojawi się na wyjściu? Wyniki mogą pojawić się po kilku sekundach.