始める無料で始める

Spark UI の Storage タブ

ディスク上に、12個のテキストファイルを含むフォルダ sherlock_parts があります。

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

これを読み込むと、7つのパーティションを持つdataframeが作成されます。

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

テーブルを作成し、そのテーブルをキャッシュします。

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Question: アクションによってキャッシュ処理がトリガーされると、Spark UI の Storage タブには何が表示されますか?

この演習はコースの一部です

Pythonで学ぶ Spark SQL 入門

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する