Memecah menjadi kolom
Anda telah membersihkan data secara signifikan dengan menghapus baris tidak valid dari DataFrame. Sekarang Anda ingin melakukan transformasi lanjutan dengan membuat kolom-kolom bermakna tertentu berdasarkan isi DataFrame.
Anda memiliki konteks spark dan versi terbaru dari DataFrame annotations_df. pyspark.sql.functions tersedia dengan alias F.
Latihan ini merupakan bagian dari kursus
Membersihkan Data dengan PySpark
Instruksi latihan
- Pecah isi kolom
'_c0'berdasarkan karakter tab dan simpan dalam variabel bernamasplit_cols. - Tambahkan kolom berikut berdasarkan empat entri pertama pada variabel di atas: folder, filename, width, height pada DataFrame bernama
split_df. - Tambahkan variabel
split_colssebagai sebuah kolom.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Split the content of _c0 on the tab character (aka, '\t')
split_cols = ____(annotations_df['____'], '\t')
# Add the columns folder, filename, width, and height
split_df = annotations_df.withColumn('folder', split_cols.getItem(____))
split_df = split_df.withColumn('filename', ____
split_df = split_df.____
____
# Add split_cols as a column
split_df = split_df.____