1. Nauka
    2. /
  2. Kursy
    3. /
  3. Wprowadzenie do PySpark
Connected

ćwiczenie

Pandas UDF

To ćwiczenie dotyczy pandas UDF – masz okazję przećwiczyć ich składnię! Pracując nad nim, zwróć uwagę na różnice między UDF z PySpark z poprzedniego ćwiczenia a tym typem UDF.

Pamiętaj, że w środowisku pracy masz już dostępną SparkSession o nazwie spark!

Instrukcje

100 XP
  • Zdefiniuj funkcję add_ten_pandas() jako pandas UDF.
  • Dodaj do DataFrame nową kolumnę o nazwie "10_plus", która zastosuje pandas UDF do kolumny "value" z df.
  • Wyświetl wynikowy DataFrame.