SortByKey и Collect

Нередко бывает полезно отсортировать парный RDD по ключу (например, при подсчёте слов, с которым вы познакомитесь позже в этой главе). В этом упражнении вы отсортируете парный RDD Rdd_Reduced, созданный в предыдущем упражнении, в порядке убывания и выведете итоговый результат.

Напомним, что SparkContext sc и Rdd_Reduced уже доступны в вашем рабочем пространстве.

Это упражнение является частью курса

Основы Big Data с PySpark

Посмотреть курс

Инструкции к упражнению

Отсортируйте RDD Rdd_Reduced по ключу в порядке убывания.
Получите содержимое с помощью collect и выведите результат, перебрав элементы.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)

# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
  print("Key {} has {} Counts".format(____, num[1]))

Редактировать и запускать код