開始使用免費開始

Spark UI 的 Storage 分頁

磁碟上有一個名為 sherlock_parts 的資料夾,裡面包含 12 個文字檔。

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

讀入後會建立一個具有 7 個分割區的 dataframe。

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

接著建立一個表格,並對該表格進行快取:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

問題: 當某個動作觸發快取之後,Spark UI 的 Storage 分頁會顯示什麼?

本練習屬於課程

Python Spark SQL 入門

檢視課程

動手互動練習

將理論付諸實踐,立即體驗我們的互動練習

開始練習