शुरू करेंमुफ़्त में शुरू करें

Spark UI का Storage टैब

डिस्क पर sherlock_parts नाम का एक फ़ोल्डर है जिसमें बारह टेक्स्ट फ़ाइलें हैं.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

लोड करने पर, इससे सात partitions वाला एक dataframe बनता है.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

एक टेबल बनाई जाती है, और टेबल को cache किया जाता है:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

प्रश्न: जब कोई action cache ऑपरेशन को trigger करेगा, तो Spark UI के Storage टैब में क्या दिखाई देगा?

यह अभ्यास पाठ्यक्रम का हिस्सा है

Python में Spark SQL परिचय

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें

अभ्यास शुरू करें