เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

เปรียบเทียบ broadcast join กับ join แบบปกติ

คุณได้สร้าง join สองแบบแล้ว ได้แก่ แบบปกติและแบบ broadcast ตอนนี้ผู้จัดการต้องการทราบว่าการใช้การปรับแต่งของ Spark ช่วยเพิ่มประสิทธิภาพได้มากเพียงใด หากผลลัพธ์น่าพอใจ คุณจะได้รับโอกาสปรับแต่งการตั้งค่า Spark เพิ่มเติมตามต้องการ

DataFrame normal_df และ broadcast_df พร้อมใช้งานแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การทำความสะอาดข้อมูลด้วย PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • เรียกใช้ .count() บน DataFrame แบบปกติ
  • เรียกใช้ .count() บน DataFrame แบบ broadcast
  • แสดงผลจำนวนแถวและระยะเวลาของ DataFrame ทั้งสอง พร้อมสังเกตความแตกต่างที่เกิดขึ้น

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

start_time = time.time()
# Count the number of rows in the normal DataFrame
normal_count = ____
normal_duration = time.time() - start_time

start_time = time.time()
# Count the number of rows in the broadcast DataFrame
broadcast_count = ____
broadcast_duration = time.time() - start_time

# Print the counts and the duration of the tests
print("Normal count:\t\t%d\tduration: %f" % (normal_count, normal_duration))
print("Broadcast count:\t%d\tduration: %f" % (broadcast_count, broadcast_duration))
แก้ไขและรันโค้ด