Запити до тимчасового подання

У цій вправі ви потренуєтеся реєструвати датафрейм як тимчасове подання SQL у PySpark. Тимчасові подання — це потужний інструмент, що дає змогу виконувати запити до даних за допомогою синтаксису SQL, спрощуючи складні перетворення та роблячи їх інтуїтивнішими. Ваше завдання — створити подання з наданого датафрейму та виконати по ньому SQL-запити — типова дія для ETL та ELT.

У вашому середовищі вже доступні SparkContext spark і датафрейм PySpark df.

Ця вправа є частиною курсу

Вступ до PySpark

Переглянути курс

Інструкції до вправи

Зареєструйте нове подання з назвою "data_view" з датафрейму df.
Запустіть наданий SQL-запит, щоб обчислити загальну зарплату за посадою.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Register as a view
df.____("data_view")

# Advanced SQL query: Calculate total salary by Position
result = ____("""
    SELECT Position, SUM(Salary) AS Total_Salary
    FROM data_view
    GROUP BY Position
    ORDER BY Total_Salary DESC
    """
)
result.show()

Редагувати та запускати код