Chạy các tệp PySpark

Trong bài tập này, bạn sẽ chạy một tệp PySpark bằng spark-submit. Công cụ này giúp bạn gửi ứng dụng của mình lên một cụm spark.

Trong phạm vi bài tập, bạn sẽ làm việc với một phiên bản Spark cục bộ chạy trên 4 luồng. Tệp bạn cần gửi nằm ở /home/repl/spark-script.py. Bạn có thể đọc nội dung tệp:

cat /home/repl/spark-script.py

Bạn có thể dùng spark-submit như sau:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Lệnh này xuất ra gì? Lưu ý: có thể mất vài giây để nhận được kết quả.