Запуск файлов PySpark

В этом упражнении вы запустите файл PySpark с помощью spark-submit. Этот инструмент позволяет отправлять приложения в кластер Spark.

Для целей упражнения вы будете работать с локальным экземпляром Spark, запущенным на 4 потоках. Файл, который нужно отправить, находится по адресу /home/repl/spark-script.py. Вы можете ознакомиться с его содержимым:

cat /home/repl/spark-script.py

Запустите spark-submit следующим образом:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Что выводит эта команда? Обратите внимание: получение результатов может занять несколько секунд.