Pandas UDF

У цій вправі ви попрактикуєтеся з Pandas UDF і їхньою синтаксичною формою. Порівнюйте відмінності між Pyspark UDF з попередньої вправи та цим типом UDF.

Пам'ятайте: у вашому середовищі вже є SparkSession з назвою spark!

Ця вправа є частиною курсу

Вступ до PySpark

Переглянути курс

Інструкції до вправи

Оголосіть функцію add_ten_pandas() як pandas UDF.
Додайте до датафрейму новий стовпець "10_plus", який застосовує pandas UDF до стовпця "value" у df.
Покажіть отриманий датафрейм.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
    return column + 10

# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____

Редагувати та запускати код