Запросы к временному представлению
В этом упражнении вы потренируетесь регистрировать DataFrame как временное SQL-представление в PySpark. Временные представления — это мощный инструмент, который позволяет обращаться к данным с помощью SQL-синтаксиса, упрощая сложные манипуляции с данными и делая их более наглядными. Ваша задача — создать представление на основе готового DataFrame и выполнить к нему SQL-запросы. Это стандартная операция при работе с ETL и ELT.
В вашем рабочем пространстве уже доступны SparkContext spark и PySpark DataFrame df.
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Зарегистрируйте новое представление с именем
"data_view"на основе DataFramedf. - Выполните предоставленный SQL-запрос для расчёта суммарной зарплаты по должностям.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()