टेम्प व्यू पर क्वेरी चलाना
इस अभ्यास में, आप PySpark में किसी DataFrame को अस्थायी SQL view के रूप में रजिस्टर करना सीखेंगे। टेम्प व्यू शक्तिशाली टूल हैं जिनकी मदद से आप SQL सिंटैक्स का उपयोग करके डेटा पर क्वेरी चला सकते हैं, जिससे जटिल डेटा मैनिप्युलेशन आसान और सहज हो जाता है। आपका लक्ष्य दिए गए DataFrame से एक व्यू बनाना और उस पर SQL क्वेरियाँ चलाना है — यह ETL और ELT कार्यों में बहुत सामान्य है.
आपके वर्कस्पेस में पहले से एक SparkContext spark और एक PySpark DataFrame df उपलब्ध है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark परिचय
अभ्यास निर्देश
- DataFrame
dfसे"data_view"नाम की नई view रजिस्टर करें. - दी गई SQL क्वेरी चलाएँ ताकि प्रत्येक पद (position) के अनुसार कुल salary की गणना हो.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()