PySpark ファイルを実行する

この演習では、spark-submit を使って PySpark ファイルを実行します。このツールは、アプリケーションを Spark クラスターに送信するのに役立ちます。

この演習では、4 スレッドで動作するローカルの Spark インスタンスを使います。送信すべきファイルは /home/repl/spark-script.py にあります。まずはファイルを読んでみましょう。

cat /home/repl/spark-script.py

spark-submit は次のように使います。

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

これを実行すると何が出力されますか？結果が表示されるまで数秒かかる場合があります。