1. Learn
    2. /
  2. Courses
    3. /
  3. Principes de Big Data avec PySpark
Connected

Exercise

reduceByKey et collect

L'une des transformations les plus utilisées sur les RDD de paires est reduceByKey(), qui agit sur des paires clé-valeur (k, v) et fusionne les valeurs pour chaque clé. Dans cet exercice, vous allez d'abord créer un RDD de paires à partir d'une liste de tuples, puis combiner les valeurs ayant la même clé et, enfin, afficher le résultat.

Rappel : vous avez déjà un SparkContext sc disponible dans votre espace de travail.

Instructions

100 XP
  • Créez un RDD de paires nommé Rdd avec les tuples (1,2),(3,4),(3,6),(4,5).
  • Transformez Rdd avec reduceByKey() en un RDD de paires Rdd_Reduced en additionnant les valeurs ayant la même clé.
  • Récupérez le contenu du RDD de paires Rdd_Reduced et itérez pour afficher le résultat.