डेटा के साथ काम करते समय, कई बार आप केवल कुछ खास फ़ील्ड्स तक पहुँचना चाहते हैं और उन पर अलग-अलग ऑपरेशंस करना चाहते हैं. इस अभ्यास में, DataFrame से सभी यूनिक वोटर नाम ढूँढिए और एक यूनिक ID नंबर जोड़िए. याद रखिए कि Spark IDs DataFrame की partition के आधार पर असाइन होती हैं — इसलिए ID वैल्यूज़ DataFrame की वास्तविक रो संख्या से कहीं ज़्यादा हो सकती हैं.

Spark की lazy प्रोसेसिंग के कारण, IDs तब तक वास्तव में जनरेट नहीं होतीं जब तक कोई एक्शन न चलाया जाए, और डेटासेट के आकार के अनुसार वे कुछ हद तक रैंडम भी लग सकती हैं.

spark सेशन और एक Spark DataFrame df जिसमें DallasCouncilVotes.csv.gz फ़ाइल है, आपके वर्कस्पेस में उपलब्ध हैं. pyspark.sql.functions लाइब्रेरी F उपनाम के साथ उपलब्ध है.

शर्त-आधारित DataFrame कॉलम ऑपरेशंस

Create Your Free Account