Fråga mot en temporär vy
I den här övningen får du öva på att registrera en DataFrame som en temporär SQL-vy i PySpark. Temporära vyer är kraftfulla verktyg som låter dig fråga data med SQL-syntax, vilket gör komplexa datamanipulationer enklare och mer intuitiva. Målet är att skapa en vy från en given DataFrame och köra SQL-frågor mot den – ett vanligt moment i ETL- och ELT-arbete.
Du har redan en SparkContext, spark, och en PySpark DataFrame, df, tillgängliga i din arbetsmiljö.
Den här övningen är en del av kursen
Introduktion till PySpark
Övningsinstruktioner
- Registrera en ny vy med namnet
"data_view"från DataFrame:ndf. - Kör den angivna SQL-frågan för att beräkna total lön per befattning.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()