Bắt đầu ngayBắt đầu miễn phí

Kiểm tra cache trong Spark UI

Có một dataframe partitioned_df. Dataframe này được dùng để đăng ký một bảng tạm tên là text. Sau đó text được cache bằng spark.catalog.cacheTable('text'). Nếu bạn chạy Spark cục bộ, Spark UI sẽ có tại http://localhost:4040/storage/. Trong bài này, hãy xem hình sau. Hình cho thấy Spark UI sẽ hiển thị gì khi cache cho text đã được nạp:

Spark UI Storage

Hình cho thấy một bảng tên text có bảy partition đã được cache trong bộ nhớ. Những thao tác nào dưới đây sẽ ngay lập tức khiến nội dung trên xuất hiện trong Spark UI?

  1. Thực hiện một phép biến đổi trên dataframe gốc, ví dụ df = partitioned_df.distinct().

  2. Đếm trên dataframe gốc, ví dụ: partitioned_df.count()

  3. Truy vấn bảng, ví dụ: spark.sql("select count(*) from text")

  4. Truy vấn và hiển thị kết quả, ví dụ: spark.sql("select count(*) from text").show()

Bài tập này là một phần của khóa học

Nhập môn Spark SQL bằng Python

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập