Mengurai data anjing
Anda telah melakukan cukup banyak pembersihan pada himpunan data awal, tetapi sekarang perlu menganalisis data lebih dalam. Ada beberapa pertanyaan yang muncul tentang jenis anjing yang terlihat dalam sebuah gambar dan beberapa detail terkait gambar tersebut. Anda menyadari bahwa untuk menjawab pertanyaan-pertanyaan ini, Anda perlu memroses data ke dalam tipe tertentu. Sebelum dapat menggunakannya, Anda harus membuat skema/tipe untuk merepresentasikan detail anjing.
DataFrame joined_df sama seperti yang Anda definisikan terakhir, dan semua pyspark.sql.types telah diimpor.
Latihan ini merupakan bagian dari kursus
Membersihkan Data dengan PySpark
Instruksi latihan
- Pilih kolom yang merepresentasikan detail anjing dari DataFrame dan tampilkan 10 baris pertama tanpa dipangkas.
- Buat skema baru seperti yang telah Anda lakukan sebelumnya, gunakan breed, start_x, start_y, end_x, dan end_y sebagai nama. Pastikan untuk menentukan tipe data yang tepat untuk setiap bidang dalam skema (setiap nilai angka adalah integer).
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Select the dog details and show 10 untruncated rows
print(joined_df.____.show(____, truncate=____))
# Define a schema type for the details in the dog list
DogType = ____([
StructField("breed", ____, False),
StructField("start_x", ____, False),
____,
____,
____
])