1. Learn
    2. /
  2. Курси
    3. /
  3. Вступ до PySpark
Connected

вправа

Цілі числа в UDF у PySpark

Ця вправа присвячена UDF: ви зрозумієте, як створювати функції в PySpark! Поки виконуєте завдання, поміркуйте, що саме це може замінити у процесі очищення даних.

Пам'ятайте: у вашому середовищі вже є SparkSession з назвою spark!

Інструкції

100 XP
  • Зареєструйте функцію age_category як UDF під назвою age_category_udf.
  • Додайте до датафрейму df нову колонку "category", яка застосовує UDF для віднесення людей до категорій за віком. Аргумент для age_category_udf() уже надано.
  • Показати результативний датафрейм.