查询临时视图
在本练习中，您将练习在 PySpark 中把 DataFrame 注册为临时 SQL 视图。临时视图非常实用，您可以用 SQL 语法来查询数据，从而更直观地完成复杂的数据处理。您的目标是基于提供的 DataFrame 创建一个视图，并对其运行 SQL 查询。这是 ETL 与 ELT 工作中的常见任务。
您的工作区中已提供 SparkContext spark 和一个 PySpark DataFrame df。
本练习是课程的一部分
PySpark 入门
练习说明
- 将 DataFrame
df注册为名为"data_view"的新视图。 - 运行给定的 SQL 查询，按职位计算总薪资。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()