เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การกำหนด Schema

การกำหนด schema ที่ชัดเจนช่วยเพิ่มคุณภาพข้อมูลและประสิทธิภาพในการนำเข้าข้อมูล ตามที่กล่าวถึงในบทเรียน เราจะสร้าง schema อย่างง่ายเพื่ออ่านคอลัมน์ต่อไปนี้:

  • Name
  • Age
  • City

คอลัมน์ Name และ City เป็นชนิด StringType() และคอลัมน์ Age เป็นชนิด IntegerType()

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การทำความสะอาดข้อมูลด้วย PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • Import * จากไลบรารี pyspark.sql.types
  • กำหนด schema ใหม่โดยใช้เมธอด StructType
  • กำหนด StructField สำหรับ name, age และ city โดยแต่ละฟิลด์ควรสอดคล้องกับชนิดข้อมูลที่ถูกต้อง และตั้งค่า nullable เป็น False

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])
แก้ไขและรันโค้ด