เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

แท็บ Storage ใน Spark UI

มีโฟลเดอร์ sherlock_parts อยู่บนดิสก์ซึ่งประกอบด้วยไฟล์ข้อความสิบสองไฟล์

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

เมื่อโหลดเข้ามา จะได้ dataframe ที่มีเจ็ด partition

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

จากนั้นสร้างตารางและทำการ cache ตารางนั้น:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

คำถาม: หลังจาก action ถูกเรียกใช้เพื่อ trigger การ cache แล้ว แท็บ Storage ใน Spark UI จะแสดงผลใด?

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Introduction to Spark SQL in Python

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด