Kom igångKom igång gratis

Spark UI:s lagringsfliken

En mapp sherlock_parts finns på disk och innehåller tolv textfiler.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

När filerna läses in skapas en dataframe med sju partitioner.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

En tabell skapas och tabellen cachas:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Fråga: Vad visas på lagringsfliken i Spark UI när cacheoperationen aktiveras av en åtgärd?

Den här övningen är en del av kursen

Introduktion till Spark SQL i Python

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen