PySpark में Aggregation
अब आप अपनी तरफ से कुछ aggregations करने के लिए तैयार हैं!
आप वही salary डेटासेट उपयोग करने जा रहे हैं जिसे आपने पहले भी इस्तेमाल किया है. आइए देखें कि आप कौन-कौन से aggregations बना सकते हैं!
spark नाम का एक SparkSession और salaries_df नाम का Spark DataFrame पहले से ही आपके वर्कस्पेस में मौजूद है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark परिचय
अभ्यास निर्देश
- US की Small कंपनी में न्यूनतम वेतन खोजें — फ़िल्टरिंग करते समय कॉलम को सीधे रेफ़र करें (
"salary_in_usd"), कोई SQL स्ट्रिंग पास न करें. - US की Large कंपनी (जिसे
"L"से दर्शाया गया है) में अधिकतम वेतन खोजें — फ़िल्टरिंग करते समय कॉलम को सीधे रेफ़र करें ("salary_in_usd"), कोई SQL स्ट्रिंग पास न करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Find the minimum salaries for small companies
salaries_df.filter(salaries_df.company_size == "S").groupBy().____.show()
# Find the maximum salaries for large companies
salaries_df.filter(salaries_df.company_size ____).____().max("salary_in_usd").show()