开始使用免费开始使用

第 2 部分:对 DataFrame 进行 SQL 查询

我们创建的 fifa_df DataFrame 含有与之关联的数据类型和列名等附加信息。借助这些信息,PySpark SQL 可以在 DataFrame 上运行 SQL 查询。与 DataFrame 操作相比,SQL 查询更简洁、也更容易运行。但要在 DataFrame 上使用 SQL 查询,首先需要将 DataFrame 创建为一个临时视图(表),然后对该表运行 SQL 查询(以编程方式运行 SQL 查询)。

在第二部分,您将把 fifa_df DataFrame 创建为一个临时表,并运行 SQL 查询以提取来自 Germany 球员的 "Age" 列。

您的工作区中已经提供了 SparkContext sparkfifa_df

本练习是课程的一部分

使用 PySpark 的大数据基础

查看课程

练习说明

  • fifa_df DataFrame 创建临时表 fifa_df_table
  • 构造一个"查询",从 fifa_df_table 中提取 Germany 球员的 "Age" 列。
  • 运行该 SQL "查询",并创建新的 DataFrame fifa_df_germany_age
  • 计算所创建 DataFrame 的基础统计信息。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')

# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''

# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)

# Generate basic statistics
fifa_df_germany_age.____().show()
编辑并运行代码