เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Pandas UDFs

แบบฝึกหัดนี้ครอบคลุมเรื่อง Pandas UDFs เพื่อให้ได้ฝึกใช้งาน syntax จริง ขณะทำแบบฝึกหัด ลองสังเกตความแตกต่างระหว่าง PySpark UDF จากแบบฝึกหัดก่อนหน้ากับ UDF ประเภทนี้

อย่าลืมว่ามี SparkSession ชื่อ spark พร้อมใช้งานอยู่ใน workspace แล้ว!

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

PySpark เบื้องต้น

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนดฟังก์ชัน add_ten_pandas() ให้เป็น pandas UDF
  • เพิ่มคอลัมน์ใหม่ชื่อ "10_plus" ลงใน DataFrame โดยใช้ pandas UDF กับคอลัมน์ "value" ใน df
  • แสดงผล DataFrame ที่ได้

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
    return column + 10

# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____
แก้ไขและรันโค้ด