Pandas UDF'ler
Bu egzersiz, sözdizimini pratik edebilmen için Pandas UDF'leri kapsar! Egzersiz üzerinde çalışırken, önceki egzersizdeki PySpark UDF ile bu UDF türü arasındaki farklara dikkat et.
Unutma, çalışma alanında zaten spark adlı bir SparkSession var!
Bu egzersiz
PySpark'e Giriş
kursunun bir parçasıdırEgzersiz talimatları
add_ten_pandas()fonksiyonunu bir pandas UDF olarak tanımla.dfDataFrame'ine, pandas UDF'yi"value"sütununa uygulayan"10_plus"adlı yeni bir sütun ekle.- Ortaya çıkan DataFrame'i göster.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
return column + 10
# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____