เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Integer ใน PySpark UDF

แบบฝึกหัดนี้เกี่ยวกับ UDF เพื่อให้เข้าใจการสร้างฟังก์ชันใน PySpark ขณะทำแบบฝึกหัด ลองคิดดูว่า UDF จะมาแทนที่ขั้นตอนใดในกระบวนการทำความสะอาดข้อมูล

อย่าลืมว่ามี SparkSession ชื่อ spark อยู่ใน workspace ของคุณแล้ว!

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

PySpark เบื้องต้น

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ลงทะเบียนฟังก์ชัน age_category เป็น UDF ชื่อ age_category_udf
  • เพิ่มคอลัมน์ใหม่ชื่อ "category" ใน DataFrame df โดยนำ UDF มาใช้จัดหมวดหมู่บุคคลตามอายุ (อาร์กิวเมนต์สำหรับ age_category_udf() เตรียมไว้ให้แล้ว)
  • แสดง DataFrame ที่ได้

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())

# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))

# Show df
age_category_df_2.____
แก้ไขและรันโค้ด