Zliczanie po kluczach

W przypadku wielu zbiorów danych istotne jest zliczenie liczby kluczy w zbiorze par klucz/wartość. Przydaje się to na przykład wtedy, gdy chcesz policzyć, w ilu krajach sprzedano dany produkt, albo wyświetlić najpopularniejsze imiona dzieci. W tym ćwiczeniu użyjesz wcześniej utworzonego Rdd i zliczysz liczbę unikalnych kluczy w tym parowym RDD.

Pamiętaj, że w twoim środowisku pracy dostępne są już SparkContext sc oraz Rdd.

To ćwiczenie jest częścią kursu

Podstawy Big Data z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Użyj countByKey i przypisz wynik do zmiennej total.
Jaki jest typ zmiennej total?
Iteruj po total i wypisz klucze wraz z ich liczbą wystąpień.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Count the unique keys
total = Rdd.____()

# What is the type of total?
print("The type of total is", ____(total))

# Iterate over the total and print the output
for k, v in total.___(): 
  print("key", ____, "has", ____, "counts")

Edytuj i uruchom kod