SortByKey e Collect
Muitas vezes é útil classificar o RDD de pares com base na chave (por exemplo, contagem de palavras, que você verá mais adiante no capítulo). Neste exercício, você classificará o RDD de pares Rdd_Reduced
que criou no exercício anterior em ordem decrescente e imprimirá o resultado final.
Lembre-se de que você já tem um SparkContext sc
e Rdd_Reduced
disponíveis em seu espaço de trabalho.
Este exercício faz parte do curso
Fundamentos de Big Data com PySpark
Instruções de exercício
- Classifique
Rdd_Reduced
RDD usando a chave em ordem decrescente. - Colete o conteúdo e itere para imprimir a saída.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)
# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
print("Key {} has {} Counts".format(____, num[1]))