Цілі числа в UDF у PySpark
Ця вправа присвячена UDF: ви зрозумієте, як створювати функції в PySpark! Поки виконуєте завдання, поміркуйте, що саме це може замінити у процесі очищення даних.
Пам'ятайте: у вашому середовищі вже є SparkSession з назвою spark!
Ця вправа є частиною курсу
Вступ до PySpark
Інструкції до вправи
- Зареєструйте функцію
age_categoryяк UDF під назвоюage_category_udf. - Додайте до датафрейму
dfнову колонку"category", яка застосовує UDF для віднесення людей до категорій за віком. Аргумент дляage_category_udf()уже надано. - Показати результативний датафрейм.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())
# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))
# Show df
age_category_df_2.____