Menghapus baris tidak valid

Sekarang setelah Anda berhasil menghapus baris komentar, Anda menerima informasi tentang format umum data. Harus ada minimal 5 kolom yang dipisahkan tab dalam DataFrame. Ingat bahwa DataFrame awal Anda hanya memiliki satu kolom, sehingga Anda perlu memisahkan data berdasarkan karakter tab (\t).

DataFrame annotations_df sudah tersedia, dengan baris komentar dihapus. Pustaka spark.sql.functions tersedia dengan alias F. Jumlah baris awal yang tersedia dalam DataFrame disimpan dalam variabel initial_count.

Latihan ini merupakan bagian dari kursus

Membersihkan Data dengan PySpark

Lihat Kursus

Instruksi latihan

Buat variabel baru tmp_fields menggunakan kolom '_c0' dari DataFrame annotations_df dengan memisahkannya berdasarkan karakter tab.
Buat kolom baru di annotations_df bernama 'colcount' yang merepresentasikan jumlah field yang ditentukan pada langkah sebelumnya.
Saring baris dari annotations_df yang berisi kurang dari 5 field.
Hitung jumlah baris dalam DataFrame dan bandingkan dengan initial_count.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Split _c0 on the tab character and store the list in a variable
tmp_fields = ____(annotations_df['_c0'], ____)

# Create the colcount column on the DataFrame
annotations_df = annotations_df.____('____', ____(____))

# Remove any rows containing fewer than 5 fields
annotations_df_filtered = annotations_df.____(~ (____))

# Count the number of rows
final_count = ____
print("Initial count: %d\nFinal count: %d" % (initial_count, final_count))

Edit dan Jalankan Kode