開始使用免費開始

執行 PySpark 檔案

在這個練習中,你要使用 spark-submit 來執行一個 PySpark 檔案。這個工具可以把你的應用程式提交到 Spark 叢集。

在本練習中,你會使用在 4 條執行緒上運作的本機 Spark。你要提交的檔案位在 /home/repl/spark-script.py。可以先讀讀看這個檔案:

cat /home/repl/spark-script.py

你可以這樣使用 spark-submit

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

這會輸出什麼?請注意,取得結果可能需要幾秒鐘。

本練習屬於課程

Data Engineering 入門

檢視課程

動手互動練習

將理論付諸實踐,立即體驗我們的互動練習

開始練習