Spark DataFrame को Pandas में बदलें
मान लें कि आपने अपने बहुत बड़े डेटासेट पर एक क्वेरी चलाई और उसे समेटकर इतना छोटा कर लिया कि उसे संभालना आसान हो जाए.
कई बार ऐसे में उस टेबल को लोकली किसी टूल जैसे pandas के साथ इस्तेमाल करना उचित होता है। Spark DataFrames यह काम .toPandas() मेथड से आसान बना देते हैं। Spark DataFrame पर यह मेथड कॉल करने से उसका संबंधित pandas DataFrame मिल जाता है। बस इतना ही!
इस बार क्वेरी SEA और PDX से प्रत्येक एयरपोर्ट के लिए उड़ानों की संख्या गिनती है।
ध्यान रखें, आपके वर्कस्पेस में पहले से spark नाम का SparkSession मौजूद है!
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark की नींव
अभ्यास निर्देश
.sql()मेथड का उपयोग करके क्वेरी चलाएँ। परिणामflight_countsमें सेव करें.flight_countsपर.toPandas()मेथड का उपयोग करकेpd_countsनाम काpandasDataFrame बनाएँ.- कंसोल पर
pd_countsकी.head()प्रिंट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Don't change this query
query = "SELECT origin, dest, COUNT(*) as N FROM flights GROUP BY origin, dest"
# Run the query
flight_counts = ____
# Convert the results to a pandas DataFrame
pd_counts = ____
# Print the head of pd_counts
print(____)