创建 RDD
在 PySpark 中,您可以通过多种方式创建 RDD(Resilient Distributed Dataset,弹性分布式数据集)。由于您已经熟悉 DataFrame,本题将基于 DataFrame 来进行。请记住,您的工作区中已经有一个名为 spark 的 SparkSession!
本练习是课程的一部分
PySpark 入门
练习说明
- 使用提供的列表创建一个名为
df的 DataFrame。 - 将该 DataFrame 转换为 RDD。
- 收集并打印得到的 RDD。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create a DataFrame
df = spark.____("salaries.csv", header=True, inferSchema=True)
# Convert DataFrame to RDD
rdd = df.____
# Show the RDD's contents
rdd.____
print(rdd)