CountingBykeys

Pour de nombreux jeux de données, il est important de compter le nombre de clés dans un ensemble clé/valeur. Par exemple, compter le nombre de pays où le produit a été vendu ou afficher les prénoms de bébé les plus populaires. Dans cet exercice simple, vous utiliserez le Rdd que vous avez créé plus tôt et compterez le nombre de clés uniques dans ce RDD de paires.

N'oubliez pas : vous avez déjà un SparkContext sc et un Rdd disponibles dans votre espace de travail.

Cette activité fait partie du cours

Principes de Big Data avec PySpark

Voir le cours

Instructions de l’exercice

Utilisez countByKey et affectez le résultat à une variable total.
Quel est le type de total?
Itérez sur total et affichez les clés ainsi que leur nombre.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Count the unique keys
total = Rdd.____()

# What is the type of total?
print("The type of total is", ____(total))

# Iterate over the total and print the output
for k, v in total.___(): 
  print("key", ____, "has", ____, "counts")

Modifier et exécuter le code