Mendefinisikan skema
Membuat skema yang terdefinisi membantu menjaga kualitas data dan kinerja impor. Seperti disebutkan dalam pelajaran, kita akan membuat skema sederhana untuk membaca kolom berikut:
- Name
- Age
- City
Kolom Name dan City bertipe StringType() dan kolom Age bertipe IntegerType().
Latihan ini merupakan bagian dari kursus
Membersihkan Data dengan PySpark
Instruksi latihan
- Impor
*dari pustakapyspark.sql.types. - Definisikan skema baru menggunakan metode
StructType. - Definisikan
StructFielduntukname,age, dancity. Setiap field harus sesuai dengan tipe data yang benar dan tidak bolehnullable.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Import the pyspark.sql.types library
____
# Define a new schema using the StructType method
people_schema = ____([
# Define a StructField for each field
StructField('name', ____, False),
____('____', IntegerType(), ____)
____
])