CountingBykeys

多くのデータセットでは、キー/値データセットに含まれるキーの数を数えることが重要です。たとえば、商品が販売された国の数を数えたり、人気のある赤ちゃんの名前を表示したりするときなどです。このシンプルな演習では、先ほど作成した Rdd を使い、そのペアRDDに含まれる一意なキーの数を数えます。

ワークスペースには、すでに SparkContext の sc と Rdd が用意されています。

この演習はコースの一部です

PySparkで学ぶBig Data入門

コースを見る

演習の手順

countByKey を使い、結果を変数 total に代入します。
total の型は何ですか？
total を反復処理して、キーとその出現回数を出力してください。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Count the unique keys
total = Rdd.____()

# What is the type of total?
print("The type of total is", ____(total))

# Iterate over the total and print the output
for k, v in total.___(): 
  print("key", ____, "has", ____, "counts")

コードを編集して実行