SortByKey și Collect

De multe ori este util să sortezi un RDD de perechi după cheie (de exemplu, pentru numărarea cuvintelor, pe care o vei vedea mai târziu în acest capitol). În acest exercițiu, vei sorta RDD-ul Rdd_Reduced creat în exercițiul anterior în ordine descrescătoare și vei afișa rezultatul final.

Reține că ai deja un SparkContext sc și Rdd_Reduced disponibile în spațiul de lucru.

Acest exercițiu face parte din cursul

Fundamentele Big Data cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Sortează RDD-ul Rdd_Reduced folosind cheia în ordine descrescătoare.
Colectează conținutul și iterează pentru a afișa rezultatul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)

# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
  print("Key {} has {} Counts".format(____, num[1]))

Editează și rulează codul