Spark UI Storage 탭
디스크에 sherlock_parts 폴더가 있으며, 12개의 텍스트 파일이 들어 있습니다.
ls sherlock_parts
sherlock_part0.txt sherlock_part2.txt sherlock_part7.txt
sherlock_part1.txt sherlock_part3.txt sherlock_part8.txt
sherlock_part10.txt sherlock_part4.txt sherlock_part9.txt
sherlock_part11.txt sherlock_part5.txt
sherlock_part12.txt sherlock_part6.txt
이를 로드하면 7개의 파티션을 가진 dataframe이 만들어집니다.
partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7
이후 테이블을 만들고, 테이블을 캐시합니다:
partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')
Question: 액션으로 인해 캐시 작업이 실제로 수행되면 Spark UI의 Storage 탭에는 무엇이 표시될까요?
이 연습은 강의의 일부입니다
