开始使用免费开始使用

Spark UI 的 Storage 选项卡

磁盘上有一个名为 sherlock_parts 的文件夹,包含 12 个文本文件。

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

加载后,会创建一个具有 7 个分区的 dataframe。

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

接着创建一张表,并对该表进行缓存:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

问题: 一旦通过某个 action 触发缓存操作,Spark UI 的 Storage 选项卡会显示什么?

本练习是课程的一部分

Python 中的 Spark SQL 入门

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习