การรันไฟล์ PySpark

ในแบบฝึกหัดนี้ จะได้ลองรันไฟล์ PySpark โดยใช้ spark-submit ซึ่งเป็นเครื่องมือที่ช่วยส่ง application ไปยัง Spark cluster

สำหรับแบบฝึกหัดนี้ จะทำงานกับ Spark instance แบบ local ที่รันบน 4 threads ไฟล์ที่ต้องส่งอยู่ที่ /home/repl/spark-script.py อ่านไฟล์ได้ด้วยคำสั่งนี้:

cat /home/repl/spark-script.py

ใช้ spark-submit ได้ดังนี้:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

ผลลัพธ์ที่ได้คืออะไร? อาจใช้เวลาสักครู่กว่าจะแสดงผล