开始使用免费开始使用

PySpark 的交互式使用

Spark 自带一个交互式的 Python shell,其中已安装 PySpark。PySpark shell 适合进行基础测试和调试,而且功能相当强大。展示 PySpark shell 强大功能的最简单方式就是通过练习。在本练习中,您将在 PySpark shell 中加载一个包含 1 到 100 的数字的简单列表。

这里最重要的一点是:我们不需要创建任何 SparkContext 对象,因为在 PySpark shell 中,PySpark 会自动创建名为 sc 的 SparkContext 对象。

本练习是课程的一部分

使用 PySpark 的大数据基础

查看课程

练习说明

  • 创建一个名为 numb 的 Python 列表,包含 1 到 100 的数字。
  • 使用 Spark Context 的 parallelize 方法将该列表加载到 Spark 中,并将其赋值给变量 spark_data

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Create a Python list of numbers from 1 to 100 
numb = range(____, ____)

# Load the list into PySpark  
spark_data = sc.____(numb)
编辑并运行代码