SortByKey och Collect

Det är ofta användbart att sortera ett par-RDD baserat på nyckeln (till exempel vid ordräkning, som du kommer att se senare i kapitlet). I den här övningen sorterar du par-RDD:n Rdd_Reduced som du skapade i föregående övning i fallande ordning och skriver ut det slutliga resultatet.

Kom ihåg att du redan har en SparkContext sc och Rdd_Reduced tillgängliga i din miljö.

Den här övningen är en del av kursen

Grunderna i Big Data med PySpark

Visa kurs

Övningsinstruktioner

Sortera RDD:n Rdd_Reduced med hjälp av nyckeln i fallande ordning.
Hämta innehållet och iterera för att skriva ut resultatet.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)

# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
  print("Key {} has {} Counts".format(____, num[1]))

Redigera och kör kod