SortByKey e Collect
Spesso è utile ordinare un pair RDD in base alla chiave (ad esempio nel word count, che vedrai più avanti nel capitolo). In questo esercizio ordinerai il pair RDD Rdd_Reduced che hai creato nell'esercizio precedente in ordine decrescente e stamperai il risultato finale.
Ricorda: nel tuo workspace hai già a disposizione uno SparkContext sc e Rdd_Reduced.
Questo esercizio fa parte del corso
Fondamenti di Big Data con PySpark
Istruzioni dell'esercizio
- Ordina l'RDD
Rdd_Reducedusando la chiave in ordine decrescente. - Esegui la collect del contenuto e cicla per stampare l'output.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)
# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
print("Key {} has {} Counts".format(____, num[1]))