1. Nauka
  2. /
  3. Kursy
  4. /
  5. Podstawy Big Data z PySpark

Connected

ćwiczenie

SortByKey i Collect

Często przydaje się sortowanie parowego RDD według klucza (na przykład przy zliczaniu słów, co zobaczysz w dalszej części rozdziału). W tym ćwiczeniu posortuj parowy RDD Rdd_Reduced, który został utworzony w poprzednim ćwiczeniu, w kolejności malejącej i wyświetl końcowy wynik.

Pamiętaj, że SparkContext sc oraz Rdd_Reduced są już dostępne w twoim środowisku pracy.

Instrukcje

100 XP
  • Posortuj RDD Rdd_Reduced według klucza w kolejności malejącej.
  • Pobierz zawartość za pomocą collect i użyj pętli, aby wyświetlić wynik.