Záložka Storage ve Spark UI
Na disku existuje složka sherlock_parts obsahující dvanáct textových souborů.
ls sherlock_parts
sherlock_part0.txt sherlock_part2.txt sherlock_part7.txt
sherlock_part1.txt sherlock_part3.txt sherlock_part8.txt
sherlock_part10.txt sherlock_part4.txt sherlock_part9.txt
sherlock_part11.txt sherlock_part5.txt
sherlock_part12.txt sherlock_part6.txt
Po načtení vznikne DataFrame se sedmi oddíly.
partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7
Následně se vytvoří tabulka a ta se cachuje:
partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Otázka: Co se zobrazí na záložce Storage ve Spark UI ve chvíli, kdy akce spustí operaci cachování?
Toto cvičení je součástí kurzu
Úvod do Spark SQL v Pythonu
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení