Zacznij terazZacznij za darmo

Liczby całkowite w UDF PySpark

To ćwiczenie dotyczy UDF (funkcji definiowanych przez użytkownika) – poznasz, jak tworzyć własne funkcje w PySpark! Pracując nad nim, zastanów się, co taki mechanizm mógłby zastąpić w procesie czyszczenia danych.

Pamiętaj, że w twoim obszarze roboczym dostępna jest już sesja SparkSession o nazwie spark!

To ćwiczenie jest częścią kursu

Wprowadzenie do PySpark

Zobacz kurs

Instrukcje do ćwiczenia

  • Zarejestruj funkcję age_category jako UDF o nazwie age_category_udf.
  • Dodaj do ramki danych df nową kolumnę o nazwie "category", która stosuje UDF do kategoryzowania osób na podstawie ich wieku. Argument dla age_category_udf() jest już podany.
  • Wyświetl wynikową ramkę danych.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())

# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))

# Show df
age_category_df_2.____
Edytuj i uruchom kod