CountingBykeys
Для багатьох наборів даних важливо порахувати кількість ключів у наборі даних ключ/значення. Наприклад, порахувати кількість країн, де було продано продукт, або показати найпопулярніші імена немовлят. У цій простій вправі ви використаєте Rdd, який створили раніше, і порахуєте кількість унікальних ключів у цьому pair RDD.
Пам'ятайте, що у вашому робочому середовищі вже доступні SparkContext sc і Rdd.
Ця вправа є частиною курсу
Основи Big Data з PySpark
Інструкції до вправи
- Використайте
countByKeyі присвойте результат зміннійtotal. - Який тип має
total? - Проітеруйтеся по
totalі виведіть ключі та їхні підрахунки.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Count the unique keys
total = Rdd.____()
# What is the type of total?
print("The type of total is", ____(total))
# Iterate over the total and print the output
for k, v in total.___():
print("key", ____, "has", ____, "counts")