Bắt đầu ngayBắt đầu miễn phí

Thẻ Storage trong Spark UI

Một thư mục sherlock_parts tồn tại trên đĩa, chứa mười hai tệp văn bản.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

Khi tải vào, điều này tạo ra một dataframe có bảy partition.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

Một bảng được tạo và bảng được cache:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Câu hỏi: Điều gì sẽ xuất hiện trong thẻ Storage của Spark UI sau khi thao tác cache được kích hoạt bởi một action?

Bài tập này là một phần của khóa học

Nhập môn Spark SQL bằng Python

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập