Pandas UDFs
यह अभ्यास Pandas UDFs पर केंद्रित है, ताकि आप उनकी सिंटैक्स का अभ्यास कर सकें! जब आप इस अभ्यास से गुजरें, तो पिछले अभ्यास के PySpark UDF और इस तरह के UDF के बीच के फ़र्क पर ध्यान दें.
ध्यान रखें, आपके वर्कस्पेस में पहले से एक SparkSession spark नाम से मौजूद है!
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark परिचय
अभ्यास निर्देश
add_ten_pandas()फंक्शन को एक pandas UDF के रूप में डिफाइन करें.- DataFrame में
"10_plus"नाम की एक नई कॉलम जोड़ें, जो pandas UDF कोdfकी"value"कॉलम पर अप्लाई करे. - प्राप्त DataFrame दिखाएँ.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
return column + 10
# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____