1. 学ぶ
  2. /
  3. コース
  4. /
  5. Pythonで学ぶ Spark SQL 入門

Connected

演習

ベクトルデータ用のUDFを作成する

vector 型の列 output を持つデータフレーム df が用意されています。最初の5行はコンソールに表示されています。

指示

100 XP
  • first_udf というUDFを作成します。これはベクトル列の先頭要素を取り出します。少なくとも1つの要素を含むベクトルでない項目については、既定値の 0.0 を返すようにし、出力は float にキャストします。
  • df に対して select を使い、output 列に first_udf を適用します。