ÎncepețiÎncepe gratuit

Pandas UDF-uri

Acest exercițiu acoperă pandas UDF-urile, ca să exersezi sintaxa lor! Pe măsură ce lucrezi, observă diferențele dintre UDF-ul PySpark din exercițiul anterior și acest tip de UDF.

Reține că în spațiul tău de lucru există deja o SparkSession numită spark!

Acest exercițiu face parte din cursul

Introducere în PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

  • Definește funcția add_ten_pandas() ca pandas UDF.
  • Adaugă o nouă coloană în DataFrame numită "10_plus", aplicând pandas UDF-ul pe coloana "value" din df.
  • Afișează DataFrame-ul rezultat.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
    return column + 10

# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____
Editează și rulează codul