PySpark 的交互式使用
Spark 自带一个交互式的 Python shell,其中已安装 PySpark。PySpark shell 适合进行基础测试和调试,而且功能相当强大。展示 PySpark shell 强大功能的最简单方式就是通过练习。在本练习中,您将在 PySpark shell 中加载一个包含 1 到 100 的数字的简单列表。
这里最重要的一点是:我们不需要创建任何 SparkContext 对象,因为在 PySpark shell 中,PySpark 会自动创建名为 sc 的 SparkContext 对象。
本练习是课程的一部分
使用 PySpark 的大数据基础
练习说明
- 创建一个名为
numb的 Python 列表,包含 1 到 100 的数字。 - 使用 Spark Context 的
parallelize方法将该列表加载到 Spark 中,并将其赋值给变量spark_data。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)