第 2 部分:对 DataFrame 进行 SQL 查询
我们创建的 fifa_df DataFrame 含有与之关联的数据类型和列名等附加信息。借助这些信息,PySpark SQL 可以在 DataFrame 上运行 SQL 查询。与 DataFrame 操作相比,SQL 查询更简洁、也更容易运行。但要在 DataFrame 上使用 SQL 查询,首先需要将 DataFrame 创建为一个临时视图(表),然后对该表运行 SQL 查询(以编程方式运行 SQL 查询)。
在第二部分,您将把 fifa_df DataFrame 创建为一个临时表,并运行 SQL 查询以提取来自 Germany 球员的 "Age" 列。
您的工作区中已经提供了 SparkContext spark 和 fifa_df。
本练习是课程的一部分
使用 PySpark 的大数据基础
练习说明
- 由
fifa_dfDataFrame 创建临时表fifa_df_table。 - 构造一个"查询",从
fifa_df_table中提取 Germany 球员的 "Age" 列。 - 运行该 SQL "查询",并创建新的 DataFrame
fifa_df_germany_age。 - 计算所创建 DataFrame 的基础统计信息。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')
# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''
# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)
# Generate basic statistics
fifa_df_germany_age.____().show()