运行 PySpark 文件
在本练习中,您将使用 spark-submit 运行一个 PySpark 文件。该工具可用于将您的应用提交到 Spark 集群。
为便于练习,您将使用一个本地 Spark 实例,并行度为 4 个线程。需要提交的文件位于 /home/repl/spark-script.py。您可以先阅读该文件:
cat /home/repl/spark-script.py
您可以按如下方式使用 spark-submit:
spark-submit \
--master local[4] \
/home/repl/spark-script.py
这会输出什么结果?请注意,获取结果可能需要几秒钟。
本练习是课程的一部分
