Pandas UDF
この演習では、pandas UDF の構文を練習します。前の演習で扱った PySpark UDF との違いに注目しながら進めましょう。
なお、ワークスペースには SparkSession として spark がすでに用意されています。
この演習はコースの一部です
PySpark 入門
演習の手順
add_ten_pandas()関数を pandas UDF として定義しましょう。"10_plus"の列dfに pandas UDF を適用した結果を"value"という新しい列として DataFrame に追加しましょう。- 結果の DataFrame を表示しましょう。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Define a Pandas UDF that adds 10 to each element in a vectorized way
@____(DoubleType())
def add_ten_pandas(column):
return column + 10
# Apply the UDF and show the result
df.withColumn("10_plus", ____)
df.____