Spark UI에서 캐시 확인하기

데이터프레임 partitioned_df가 제공되어 있어요. 이 데이터프레임으로 임시 테이블 text를 등록했고, 이후 spark.catalog.cacheTable('text')로 text를 캐시했습니다. 로컬에서 Spark를 실행 중이라면 Spark UI는 http://localhost:4040/storage/에서 확인할 수 있습니다. 이 연습에서는 아래 이미지를 살펴보세요. 캐시가 로드된 후 Spark UI에 text가 어떻게 보이는지 나타냅니다:

이미지에서는 파티션이 7개인 text 테이블이 메모리에 캐시되어 있음을 보여줍니다. 다음 중 어느 동작을 수행하면 위 내용이 Spark UI에 즉시 나타날까요?

1. 기반 데이터프레임에 변환을 수행하기. 예: df = partitioned_df.distinct()

2. 기반 데이터프레임의 개수를 세기. 예: partitioned_df.count()

3. 테이블을 쿼리하기. 예: spark.sql("select count(*) from text")

4. 쿼리하고 결과를 표시하기. 예: spark.sql("select count(*) from text").show()