सब कुछ एक साथ II
एक DataFrame बनाएँ, उस पर ट्रांसफॉर्मेशन लागू करें, उसे कैश करें, और जाँचें कि वह कैश हुआ है या नहीं. फिर, मेमोरी खाली करने के लिए उसे अनकैश करें.
इस अभ्यास के लिए आपके लिए एक spark सत्र पहले से बनाया गया है! परिणाम को समझने के लिए .explain() मेथड के आउटपुट को ध्यान से देखें!
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark परिचय
अभ्यास निर्देश
dfDataFrame को कैश करें.agg_resultDataFrame के प्रोसेसिंग को explain करें.- प्रोसेसिंग के बाद कैश किए गए
dfDataFrame को unpersist करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Cache the DataFrame
df.____
# Perform aggregation
agg_result = df.groupBy("Department").sum("Salary")
agg_result.show()
# Analyze the execution plan
agg_result.____
# Uncache the DataFrame
df.____