Подсчёт по ключам

Во многих наборах данных важно знать количество ключей в структуре «ключ/значение». Например, можно подсчитать, в скольких странах продавался товар, или определить самые популярные имена для новорождённых. В этом упражнении вы воспользуетесь ранее созданным Rdd и подсчитаете количество уникальных ключей в этом парном RDD.

Напомним, что SparkContext sc и Rdd уже доступны в вашем рабочем пространстве.

Это упражнение является частью курса

Основы Big Data с PySpark

Посмотреть курс

Инструкции к упражнению

Примените countByKey и присвойте результат переменной total.
Определите тип переменной total.
Выполните перебор total и выведите ключи вместе с их счётчиками.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Count the unique keys
total = Rdd.____()

# What is the type of total?
print("The type of total is", ____(total))

# Iterate over the total and print the output
for k, v in total.___(): 
  print("key", ____, "has", ____, "counts")

Редактировать и запускать код