Geçici bir görünüm üzerinde sorgulama
Bu egzersizde, bir DataFrame'i PySpark'ta geçici bir SQL görünümü olarak kaydetmeyi pratik yapacaksın. Geçici görünümler, veriyi SQL söz dizimiyle sorgulamana olanak tanıyan güçlü araçlardır; bu da karmaşık veri işlemlerini daha kolay ve sezgisel hale getirir. Amacın, verilen bir DataFrame'den bir görünüm oluşturmak ve bu görünüm üzerinde SQL sorguları çalıştırmak — ETL ve ELT işlerinde çok yaygın bir görev.
Çalışma alanında bir SparkContext spark ve bir PySpark DataFrame'i df zaten hazır.
Bu egzersiz
PySpark'e Giriş
kursunun bir parçasıdırEgzersiz talimatları
dfDataFrame'inden"data_view"adlı yeni bir görünüm kaydet.- Pozisyona göre toplam maaşı hesaplayan verilen SQL sorgusunu çalıştır.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()