Köra PySpark-filer

I den här övningen ska du köra en PySpark-fil med hjälp av spark-submit. Det här verktyget hjälper dig att skicka in din applikation till ett Spark-kluster.

I den här övningen arbetar du med en lokal Spark-instans som körs på 4 trådar. Filen du ska skicka in finns på /home/repl/spark-script.py. Läs gärna filen:

cat /home/repl/spark-script.py

Du kan använda spark-submit på följande sätt:

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Vad ger det här för utdata? Observera att det kan ta några sekunder innan du ser resultatet.