आपके डेटा में Partitions
SparkContext का textFile() मेथड एक वैकल्पिक दूसरा आर्ग्युमेंट minPartitions लेता है, जिससे आप पार्टिशनों की न्यूनतम संख्या निर्दिष्ट कर सकते हैं. इस अभ्यास में, आप 5 पार्टिशनों के साथ fileRDD_part नाम का एक RDD बनाएँगे और फिर उसकी तुलना पिछले अभ्यास में बनाए गए fileRDD से करेंगे. RDD में पार्टिशन बनाने और उनकी संख्या प्राप्त करने के तरीकों को जानने के लिए वीडियो 2.1 की "Understanding Partition" स्लाइड देखें.
ध्यान रखें, आपके वर्कस्पेस में SparkContext sc, file_path और fileRDD पहले से उपलब्ध हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Big Data Fundamentals
अभ्यास निर्देश
fileRDDRDD में उपलब्ध पार्टिशनों की संख्या पता करें.- फाइल पाथ से
fileRDD_partनाम का RDD बनाएँ, लेकिन 5 पार्टिशन बनाएँ. - नए
fileRDD_partRDD में पार्टिशनों की संख्या कन्फर्म करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)
# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)
# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)