Pandas UDF'ler
Bu egzersiz, sözdizimini pratik edebilmen için Pandas UDF'leri kapsar! Egzersiz üzerinde çalışırken, önceki egzersizdeki PySpark UDF ile bu UDF türü arasındaki farklara dikkat et.
Unutma, çalışma alanında zaten spark adlı bir SparkSession var!
Bu egzersiz, kursun bir parçasıdır
PySpark'e Giriş
Egzersiz talimatları
add_ten_pandas()fonksiyonunu bir pandas UDF olarak tanımla.dfDataFrame'ine, pandas UDF'yi"value"sütununa uygulayan"10_plus"adlı yeni bir sütun ekle.- Ortaya çıkan DataFrame'i göster.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
return column + 10
# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____