Запуск файлів PySpark

У цій вправі ви запустите файл PySpark за допомогою spark-submit. Цей інструмент допомагає надсилати вашу програму на кластер Spark.

Для цієї вправи ви працюватимете з локальним екземпляром Spark на 4 потоках. Файл, який треба надіслати, міститься в /home/repl/spark-script.py. За бажанням перегляньте файл:

cat /home/repl/spark-script.py

Ви можете скористатися spark-submit так:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Що виводиться в результаті? Зверніть увагу, що отримання результатів може тривати кілька секунд.