when() の例
when() 句を使うと、内容に基づいて DataFrame を条件付きで変更できます。ここでは、役職が "Councilmember" の有権者に対して、ランダムな数値を追加するように voter_df DataFrame を変更します。
voter_df DataFrame はすでに定義されており、利用できます。pyspark.sql.functions ライブラリは F. として利用可能です。ランダム値の生成には F.rand() を使えます。
この演習はコースの一部です
PySpark でデータをクレンジングする
演習の手順
- 役職が Councilmember の有権者に対して、
F.rand()の結果を格納する列random_valをvoter_dfに追加します。 .when()句が期待どおりに動作したかを確認するため、DataFrame の一部の行を表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Add a column to voter_df for any voter with the title **Councilmember**
voter_df = voter_df.____('random_val',
____(____, ____))
# Show some of the DataFrame rows, noting whether the when clause worked
voter_df.____