ComeçarComece de graça

Pandas UDFs

Este exercício aborda as Pandas UDFs, para que você possa praticar a sintaxe! Enquanto resolve, repare nas diferenças entre a UDF do PySpark do exercício anterior e este tipo de UDF.

Lembre-se: já existe uma SparkSession chamada spark no seu ambiente!

Este exercício faz parte do curso

Introdução ao PySpark

Ver curso

Instruções do exercício

  • Defina a função add_ten_pandas() como uma pandas UDF.
  • Adicione uma nova coluna ao DataFrame chamada "10_plus" que aplique a pandas UDF à coluna "value" de df.
  • Mostre o DataFrame resultante.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
    return column + 10

# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____
Editar e executar o código