Rularea fișierelor PySpark

În acest exercițiu, vei rula un fișier PySpark folosind spark-submit. Acest instrument te ajută să trimiți aplicația ta către un cluster Spark.

Pentru acest exercițiu, vei lucra cu o instanță locală Spark care rulează pe 4 fire de execuție. Fișierul pe care trebuie să-l trimiți se află la /home/repl/spark-script.py. Nu ezita să-l citești:

cat /home/repl/spark-script.py

Poți folosi spark-submit astfel:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Ce afișează această comandă? Reține că poate dura câteva secunde până obții rezultatele.