开始使用免费开始使用

推断并筛选

假设您有一个人口普查数据集,且您知道它包含表头并带有模式。让我们加载该数据集,并让 PySpark 推断模式。若按年龄大于 40 岁的成年人进行筛选,您会看到什么?

请记住,您的工作区中已经有一个名为 SparkSessionspark

本练习是课程的一部分

PySpark 入门

查看课程

练习说明

  • 加载 JSON 文件 adults.json
  • 将数据筛选为仅包含 age 大于 40 的成年人。
  • 显示结果。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Load the dataframe
census_df = spark.read.json("adults.json")

# Filter rows based on age condition
salary_filtered_census = census_df.____(census_df[____]____)

# Show the result
____
编辑并运行代码