Začněte nyníZačněte zdarma

Záložka Storage ve Spark UI

Na disku existuje složka sherlock_parts obsahující dvanáct textových souborů.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

Po načtení vznikne DataFrame se sedmi oddíly.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

Následně se vytvoří tabulka a ta se cachuje:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Otázka: Co se zobrazí na záložce Storage ve Spark UI ve chvíli, kdy akce spustí operaci cachování?

Toto cvičení je součástí kurzu

Úvod do Spark SQL v Pythonu

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení