PySpark UDF の整数
この演習では UDF を扱い、PySpark での関数作成について理解できるようにします。演習を進めながら、データクリーニングのワークフローでこれが何を置き換えるのかを考えてみてください。
なお、ワークスペースにはすでに SparkSession という spark があります！
この演習はコースの一部です
PySpark 入門
演習の手順
- 関数
age_categoryをage_category_udfという名前の UDF として登録してください。 - DataFrame
dfに"category"という新しい列を追加し、年齢に基づいて人々を分類する UDF を適用してください。age_category_udf()の引数はあらかじめ用意されています。 - 結果の DataFrame を表示してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Register the function age_category as a UDF
age_category_udf = ____(age_category, StringType())
# Apply your udf to the DataFrame
age_category_df_2 = age_category_df.withColumn("category", ____(age_category_df["age"]))
# Show df
age_category_df_2.____