Spouštění souborů PySpark

V tomto cvičení spustíš soubor PySpark pomocí nástroje spark-submit. Ten ti umožní odeslat aplikaci do Spark clusteru.

Pro účely tohoto cvičení budeš pracovat s lokální instancí Sparku běžící na 4 vláknech. Soubor, který potřebuješ odeslat, se nachází na cestě /home/repl/spark-script.py. Klidně si ho nejdřív prohlédni:

cat /home/repl/spark-script.py

Nástroj spark-submit použiješ takto:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Co tento příkaz vypíše? Výsledky se mohou zobrazit až po několika sekundách.