Pandas UDFs
本練習著重於 Pandas UDF，讓你練習其語法！在操作過程中，留意上一題的 PySpark UDF 與此類 UDF 的差異。
記得，你的工作環境中已經有一個名為 spark 的 SparkSession！
本練習屬於課程
PySpark 入門
練習說明
- 將
add_ten_pandas()定義為一個 pandas UDF。 - 在 DataFrame 中新增名為
"10_plus"的欄位，將此 pandas UDF 套用到df的"value"欄位。 - 顯示產生的 DataFrame。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
return column + 10
# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____