การอ่านค่าการตั้งค่า Spark

คุณเพิ่งกำหนดค่า cluster ผ่านผู้ให้บริการ cloud โดยสามารถเข้าถึงได้ทางคำสั่ง shell หรือโค้ด Python เท่านั้น ตอนนี้ต้องการตรวจสอบการตั้งค่า Spark บางรายการเพื่อยืนยันว่า cluster ถูกกำหนดค่าอย่างถูกต้อง

ออบเจกต์ spark พร้อมใช้งานแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การทำความสะอาดข้อมูลด้วย PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

ตรวจสอบชื่อของ Spark application instance ('spark.app.name')
หาพอร์ต TCP ที่ driver ทำงานอยู่ ('spark.driver.port')
หาจำนวน partition ที่กำหนดไว้สำหรับการ join
แสดงผลลัพธ์

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Name of the Spark application instance
app_name = spark.____.get(____)

# Driver TCP port
driver_tcp_port = ____

# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')

# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)

แก้ไขและรันโค้ด