ดูตารางข้อมูล
เมื่อสร้าง SparkSession แล้ว ก็สามารถสำรวจข้อมูลที่อยู่ใน cluster ได้เลย!
SparkSession มี attribute ชื่อ catalog ซึ่งแสดงรายการข้อมูลทั้งหมดใน cluster โดย attribute นี้มีเมธอดหลายตัวสำหรับดึงข้อมูลในรูปแบบต่าง ๆ
เมธอดที่มีประโยชน์มากที่สุดตัวหนึ่งคือ .listTables() ซึ่งจะคืนค่าชื่อตารางทั้งหมดใน cluster ในรูปแบบ list
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
- ดูว่ามีตารางใดบ้างใน cluster โดยเรียก
spark.catalog.listTables()แล้วแสดงผลลัพธ์ออกมา!
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Print the tables in the catalog
print(spark.____.____())