เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ตรวจสอบแคชใน Spark UI

มี DataFrame ชื่อ partitioned_df พร้อมใช้งานอยู่ โดยใช้ลงทะเบียนเป็นตารางชั่วคราวชื่อ text จากนั้นแคช text ด้วยคำสั่ง spark.catalog.cacheTable('text') หากรัน Spark บนเครื่องของตัวเอง Spark UI จะเข้าถึงได้ที่ http://localhost:4040/storage/ สำหรับแบบฝึกหัดนี้ ให้ดูภาพด้านล่าง ซึ่งแสดงสิ่งที่ Spark UI จะแสดงเมื่อโหลดแคชของ text เสร็จแล้ว:

Spark UI Storage

ภาพนี้แสดงว่าตารางชื่อ text ที่มี 7 พาร์ทิชันถูกแคชไว้ในหน่วยความจำ ตัวเลือกใดต่อไปนี้จะทำให้ข้อมูลดังกล่าวปรากฏใน Spark UI ทันที?

  1. ทำ transform กับ DataFrame ต้นทาง เช่น df = partitioned_df.distinct()

  2. นับจำนวนแถวใน DataFrame ต้นทาง เช่น partitioned_df.count()

  3. คิวรีตารางโดยใช้คำสั่ง เช่น spark.sql("select count(*) from text")

  4. คิวรีและแสดงผลลัพธ์ เช่น spark.sql("select count(*) from text").show()

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Introduction to Spark SQL in Python

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด