SortByKey i Collect

Często przydaje się sortowanie parowego RDD według klucza (na przykład przy zliczaniu słów, co zobaczysz w dalszej części rozdziału). W tym ćwiczeniu posortuj parowy RDD Rdd_Reduced, który został utworzony w poprzednim ćwiczeniu, w kolejności malejącej i wyświetl końcowy wynik.

Pamiętaj, że SparkContext sc oraz Rdd_Reduced są już dostępne w twoim środowisku pracy.

To ćwiczenie jest częścią kursu

Podstawy Big Data z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Posortuj RDD Rdd_Reduced według klucza w kolejności malejącej.
Pobierz zawartość za pomocą collect i użyj pętli, aby wyświetlić wynik.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)

# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
  print("Key {} has {} Counts".format(____, num[1]))

Edytuj i uruchom kod