Pandas UDFs
Bài tập này đề cập đến Pandas UDFs để bạn luyện tập cú pháp của chúng! Khi làm, hãy chú ý sự khác nhau giữa Pyspark UDF ở bài trước và kiểu UDF này.
Hãy nhớ rằng trong không gian làm việc của bạn đã có sẵn một SparkSession tên là spark!
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Định nghĩa hàm
add_ten_pandas()dưới dạng một pandas UDF. - Thêm một cột mới vào DataFrame tên
"10_plus"và áp dụng pandas UDF cho cột"value"củadf. - Hiển thị DataFrame kết quả.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
return column + 10
# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____