PySpark 파일 실행하기

이번 연습에서는 spark-submit을 사용해 PySpark 파일을 실행해 보겠습니다. 이 도구는 애플리케이션을 Spark 클러스터에 제출할 때 사용해요.

이 연습에서는 4개의 스레드로 실행되는 로컬 Spark 인스턴스를 사용합니다. 제출해야 할 파일은 /home/repl/spark-script.py에 있어요. 파일 내용을 확인해 보셔도 됩니다:

cat /home/repl/spark-script.py

spark-submit은 다음과 같이 사용할 수 있어요:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

이것은 어떤 출력을 내나요? 결과가 나오기까지 몇 초 정도 걸릴 수 있어요.