PySpark UDF 中的整數
這個練習會用到 UDF,讓你了解在 PySpark 中如何建立函式!在操作過程中,想一想在資料清理流程中,這會取代哪些步驟。
記得你的工作區中已經有一個 SparkSession,名稱是 spark!
本練習屬於課程
PySpark 入門
練習說明
- 將函式
age_category註冊為名為age_category_udf的 UDF。 - 在 DataFrame
df中新增一個名為"category"的欄位,使用該 UDF 依年齡將人員分類。age_category_udf()的引數已為你提供。 - 顯示產生的 DataFrame。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())
# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))
# Show df
age_category_df_2.____