Zacznij terazZacznij za darmo

Zakładka Storage w Spark UI

Na dysku istnieje folder sherlock_parts zawierający dwanaście plików tekstowych.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

Po wczytaniu powstaje dataframe z siedmioma partycjami.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

Tworzona jest tabela, która następnie zostaje zbuforowana:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Pytanie: Co pojawi się w zakładce Storage w Spark UI po wywołaniu operacji buforowania przez akcję?

To ćwiczenie jest częścią kursu

Wprowadzenie do Spark SQL w Pythonie

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie