Menyaring isi kolom dengan Python

Anda telah mempelajari berbagai operasi pada kolom DataFrame — sekarang saatnya memodifikasi himpunan data nyata. DataFrame voter_df berisi informasi tentang para pemilih di Dewan Kota Dallas dari beberapa tahun terakhir. DataFrame yang disingkat ini memuat tanggal pemungutan suara serta nama dan jabatan pemilih. Manajer Anda meminta Anda membersihkan data ini agar nantinya dapat diintegrasikan ke dalam beberapa laporan yang dibutuhkan. Tugas utamanya adalah menghapus entri bernilai null atau karakter aneh dan mengembalikan himpunan pemilih tertentu agar Anda dapat memvalidasi informasinya.

Ini sering menjadi salah satu langkah awal dalam pembersihan data — menghapus apa pun yang jelas-jelas berada di luar format. Untuk himpunan data ini, pastikan Anda melihat data asli dan periksa apa yang tampak tidak pada tempatnya untuk kolom VOTER_NAME.

Pustaka pyspark.sql.functions sudah diimpor dengan alias F.

Latihan ini merupakan bagian dari kursus

Membersihkan Data dengan PySpark

Lihat Kursus

Instruksi latihan

Tampilkan entri VOTER_NAME yang unik.
Saring voter_df untuk VOTER_NAME dengan panjang 1–20 karakter.
Keluarkan baris voter_df jika VOTER_NAME berisi _.
Tampilkan lagi entri VOTER_NAME yang unik.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Show the distinct VOTER_NAME entries
voter_df.select(____).distinct().show(40, truncate=False)

# Filter voter_df where the VOTER_NAME is 1-20 characters in length
voter_df = ____('length(VOTER_NAME) > 0 and length(VOTER_NAME) < 20')

# Filter out voter_df where the VOTER_NAME contains an underscore
voter_df = voter_df.filter(~ F.col('VOTER_NAME').____)

# Show the distinct VOTER_NAME entries again
voter_df.____(____).____().____(40, truncate=False)

Edit dan Jalankan Kode