НачатьНачать бесплатно

Вкладка Storage в Spark UI

На диске находится папка sherlock_parts, содержащая двенадцать текстовых файлов.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

При загрузке создаётся датафрейм с семью разделами.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

Создаётся таблица, которая затем кешируется:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Вопрос: Что появится на вкладке Storage в Spark UI после того, как операция кеширования будет запущена действием?

Это упражнение является частью курса

Введение в Spark SQL на Python

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение