Zapytania na widoku tymczasowym
W tym ćwiczeniu przećwiczysz rejestrowanie DataFrame jako tymczasowego widoku SQL w PySpark. Widoki tymczasowe to przydatne narzędzia, które pozwalają odpytywać dane za pomocą składni SQL – dzięki temu złożone operacje na danych stają się prostsze i bardziej intuicyjne. Twoim celem jest utworzenie widoku na podstawie dostarczonego DataFrame i uruchomienie zapytań SQL – to typowe zadanie w pracy z ETL i ELT.
W środowisku pracy masz już dostępny SparkContext spark oraz PySpark DataFrame df.
To ćwiczenie jest częścią kursu
Wprowadzenie do PySpark
Instrukcje do ćwiczenia
- Zarejestruj nowy widok o nazwie
"data_view"na podstawie DataFramedf. - Uruchom dostarczone zapytanie SQL, aby obliczyć łączne wynagrodzenie według stanowiska.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()