Exécuter des fichiers PySpark

Dans cet exercice, vous allez exécuter un fichier PySpark avec spark-submit. Cet outil vous permet de soumettre votre application à un groupe Spark.

Pour les besoins de cet exercice, vous allez travailler avec une instance locale de Spark fonctionnant sur 4 fils d'exécution. Le fichier à soumettre se trouve à l'emplacement suivant : /home/repl/spark-script.py. N'hésitez pas à lire le fichier :

cat /home/repl/spark-script.py

Vous pouvez utiliser spark-submit comme suit :

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

Qu'est-ce que cela affiche ? Notez qu'il peut falloir quelques secondes pour obtenir vos résultats.