Kiểm tra cache trong Spark UI
Có một dataframe partitioned_df. Dataframe này được dùng để đăng ký một bảng tạm tên là text. Sau đó text được cache bằng spark.catalog.cacheTable('text'). Nếu bạn chạy Spark cục bộ, Spark UI sẽ có tại http://localhost:4040/storage/. Trong bài này, hãy xem hình sau. Hình cho thấy Spark UI sẽ hiển thị gì khi cache cho text đã được nạp:

Hình cho thấy một bảng tên text có bảy partition đã được cache trong bộ nhớ. Những thao tác nào dưới đây sẽ ngay lập tức khiến nội dung trên xuất hiện trong Spark UI?
Thực hiện một phép biến đổi trên dataframe gốc, ví dụ
df = partitioned_df.distinct().Đếm trên dataframe gốc, ví dụ:
partitioned_df.count()Truy vấn bảng, ví dụ:
spark.sql("select count(*) from text")Truy vấn và hiển thị kết quả, ví dụ:
spark.sql("select count(*) from text").show()
Bài tập này là một phần của khóa học
Nhập môn Spark SQL bằng Python
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập