推断并筛选
假设您有一个人口普查数据集,且您知道它包含表头并带有模式。让我们加载该数据集,并让 PySpark 推断模式。若按年龄大于 40 岁的成年人进行筛选,您会看到什么?
请记住,您的工作区中已经有一个名为 SparkSession 的 spark!
本练习是课程的一部分
PySpark 入门
练习说明
- 加载 JSON 文件
adults.json。 - 将数据筛选为仅包含
age大于40的成年人。 - 显示结果。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Load the dataframe
census_df = spark.read.json("adults.json")
# Filter rows based on age condition
salary_filtered_census = census_df.____(census_df[____]____)
# Show the result
____