Целые числа в UDF PySpark
В этом упражнении вы поработаете с UDF и научитесь создавать пользовательские функции в PySpark! Выполняя задание, подумайте, что именно UDF могут заменить в процессе очистки данных.
Напомним: в вашем рабочем пространстве уже создан объект SparkSession с именем spark!
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Зарегистрируйте функцию
age_categoryкак UDF под именемage_category_udf. - Добавьте в DataFrame
dfновый столбец"category", применив UDF для категоризации людей по возрасту. Аргумент дляage_category_udf()уже указан за вас. - Выведите результирующий DataFrame.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())
# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))
# Show df
age_category_df_2.____