Mulai sekarangMulai gratis

Validasi baris melalui join

Contoh lain dari pemfilteran data adalah menggunakan join untuk menghapus entri tidak valid. Anda perlu memastikan nama folder sudah sesuai berdasarkan DataFrame bernama valid_folders_df. DataFrame split_df berada pada kondisi terakhir yang Anda tinggalkan dengan sekelompok kolom hasil pemisahan.

Objek spark tersedia, dan pyspark.sql.functions telah diimpor sebagai F.

Latihan ini merupakan bagian dari kursus

Membersihkan Data dengan PySpark

Lihat Kursus

Instruksi latihan

  • Ubah nama kolom _c0 menjadi folder pada DataFrame valid_folders_df.
  • Hitung jumlah baris dalam split_df.
  • Lakukan join pada kedua DataFrame berdasarkan nama folder, dan beri nama DataFrame hasilnya joined_df. Pastikan untuk melakukan broadcast pada DataFrame yang lebih kecil.
  • Periksa jumlah baris yang tersisa di DataFrame dan bandingkan.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Rename the column in valid_folders_df
valid_folders_df = ____

# Count the number of rows in split_df
split_count = ____

# Join the DataFrames
joined_df = split_df.____(____(valid_folders_df), "folder")

# Compare the number of rows remaining
joined_count = ____
print("Before: %d\nAfter: %d" % (split_count, joined_count))
Edit dan Jalankan Kode