ПочатиПочніть безкоштовно

Вкладка Storage у Spark UI

На диску є папка sherlock_parts, що містить дванадцять текстових файлів.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

Після завантаження це створює датафрейм із сімома партиціями.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

Створюється таблиця, і таблиця кешується:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Запитання: Що з'явиться на вкладці Storage у Spark UI після того, як операцію кешування буде ініційовано дією?

Ця вправа є частиною курсу

Вступ до Spark SQL у Python

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу