Membandingkan join broadcast vs normal
Anda telah membuat dua jenis join: normal dan broadcast. Kini manajer Anda ingin mengetahui peningkatan kinerja saat menggunakan optimisasi Spark. Jika hasilnya menjanjikan, Anda akan diberi lebih banyak kesempatan untuk menyesuaikan konfigurasi Spark sesuai kebutuhan.
DataFrame Anda, normal_df dan broadcast_df, tersedia untuk digunakan.
Latihan ini merupakan bagian dari kursus
Membersihkan Data dengan PySpark
Instruksi latihan
- Jalankan
.count()pada DataFrame normal. - Jalankan
.count()pada DataFrame broadcast. - Cetak jumlah baris dan durasi dari kedua DataFrame, serta catat perbedaannya.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
start_time = time.time()
# Count the number of rows in the normal DataFrame
normal_count = ____
normal_duration = time.time() - start_time
start_time = time.time()
# Count the number of rows in the broadcast DataFrame
broadcast_count = ____
broadcast_duration = time.time() - start_time
# Print the counts and the duration of the tests
print("Normal count:\t\t%d\tduration: %f" % (normal_count, normal_duration))
print("Broadcast count:\t%d\tduration: %f" % (broadcast_count, broadcast_duration))