PySpark UDF 中的整数
本练习涵盖 UDF,帮助您理解在 PySpark 中创建函数的方式!在完成练习时,请思考它在数据清洗流程中可以替代哪些步骤。
请记住,您的工作区中已经有一个 SparkSession,名称为 spark!
本练习是课程的一部分
PySpark 入门
练习说明
- 将函数
age_category注册为名为age_category_udf的 UDF。 - 向 DataFrame
df添加一个名为"category"的新列,应用该 UDF 按年龄为人群分类。age_category_udf()的参数已为您提供。 - 显示结果 DataFrame。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())
# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))
# Show df
age_category_df_2.____