Pandas UDF

Это упражнение посвящено pandas UDF — здесь вы потренируетесь работать с их синтаксисом. Выполняя задание, обратите внимание на различия между PySpark UDF из предыдущего упражнения и этим типом UDF.

Напомним: в вашем рабочем пространстве уже создан объект SparkSession с именем spark!

Это упражнение является частью курса

Введение в PySpark

Посмотреть курс

Инструкции к упражнению

Определите функцию add_ten_pandas() как pandas UDF.
Добавьте в DataFrame новый столбец "10_plus", применив pandas UDF к столбцу "value" объекта df.
Выведите полученный DataFrame.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
    return column + 10

# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____

Редактировать и запускать код