1. Learn
    2. /
  2. Cursuri
    3. /
  3. Основи Big Data з PySpark
Connected

Exercițiu

ReduceByKey і Collect

Одне з найпопулярніших перетворень парних RDD — це reduceByKey(), яке працює з парами ключ–значення (k, v) і об'єднує значення для кожного ключа. У цій вправі ви спочатку створите парний RDD зі списку кортежів, потім об'єднаєте значення з однаковим ключем і, нарешті, виведете результат.

Пам'ятайте: у вашому робочому середовищі вже доступний SparkContext sc.

Instrucțiuni

100 XP
  • Створіть парний RDD з назвою Rdd із кортежів (1,2),(3,4),(3,6),(4,5).
  • Перетворіть Rdd за допомогою reduceByKey() на парний RDD Rdd_Reduced, додаючи значення з однаковим ключем.
  • Зберіть вміст парного RDD Rdd_Reduced і проітерайтеся ним, щоб надрукувати результат.