画像ごとのカウント

このデータセット向けのデータパイプラインを構築する次のタスクは、分析に役立つ列をいくつか作成することです。先に作成した dog_list 列を基に、各画像に写っている犬の数を計算するよう依頼されています。また、いくつかのデータ列の内容をより適切に解釈できるよう、DogType も作成済みです。

joined_df は前に定義したとおりに利用可能で、DogType の StructType も定義されています。pyspark.sql.functions は F というエイリアスで利用できます。