Zacznij terazZacznij za darmo

Pandas UDF

To ćwiczenie dotyczy pandas UDF – masz okazję przećwiczyć ich składnię! Pracując nad nim, zwróć uwagę na różnice między UDF z PySpark z poprzedniego ćwiczenia a tym typem UDF.

Pamiętaj, że w środowisku pracy masz już dostępną SparkSession o nazwie spark!

To ćwiczenie jest częścią kursu

Wprowadzenie do PySpark

Zobacz kurs

Instrukcje do ćwiczenia

  • Zdefiniuj funkcję add_ten_pandas() jako pandas UDF.
  • Dodaj do DataFrame nową kolumnę o nazwie "10_plus", która zastosuje pandas UDF do kolumny "value" z df.
  • Wyświetl wynikowy DataFrame.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
    return column + 10

# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____
Edytuj i uruchom kod