Số nguyên trong UDF của PySpark
Bài tập này nói về UDF, giúp bạn hiểu cách tạo hàm trong PySpark! Khi thực hiện, hãy nghĩ xem điều này sẽ thay thế bước nào trong quy trình làm sạch dữ liệu.
Hãy nhớ rằng đã có sẵn một SparkSession tên là spark trong không gian làm việc của bạn!
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Đăng ký hàm
age_categorythành một UDF có tênage_category_udf. - Thêm một cột mới vào DataFrame
dftên"category"và áp dụng UDF để phân loại mọi người dựa trên độ tuổi của họ. Đối số choage_category_udf()đã được cung cấp. - Hiển thị DataFrame kết quả.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())
# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))
# Show df
age_category_df_2.____