开始使用免费开始使用

运行 PySpark 文件

在本练习中,您将使用 spark-submit 运行一个 PySpark 文件。该工具可用于将您的应用提交到 Spark 集群。

为便于练习,您将使用一个本地 Spark 实例,并行度为 4 个线程。需要提交的文件位于 /home/repl/spark-script.py。您可以先阅读该文件:

cat /home/repl/spark-script.py

您可以按如下方式使用 spark-submit

spark-submit \
  --master local[4] \
  /home/repl/spark-script.py

这会输出什么结果?请注意,获取结果可能需要几秒钟。

本练习是课程的一部分

Data Engineering 入门

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习