CountingBykeys
Với nhiều bộ dữ liệu, việc đếm số lượng key trong tập dữ liệu key/value là rất quan trọng. Ví dụ: đếm số quốc gia nơi sản phẩm được bán, hoặc tìm các tên em bé phổ biến nhất. Trong bài tập đơn giản này, bạn sẽ dùng Rdd mà bạn đã tạo trước đó và đếm số lượng key duy nhất trong pair RDD đó.
Lưu ý: bạn đã có sẵn SparkContext sc và Rdd trong môi trường làm việc.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- Dùng
countByKeyvà gán kết quả cho biếntotal. totalcó kiểu dữ liệu gì?- Lặp qua
totalvà in ra các key cùng số lần xuất hiện của chúng.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Count the unique keys
total = Rdd.____()
# What is the type of total?
print("The type of total is", ____(total))
# Iterate over the total and print the output
for k, v in total.___():
print("key", ____, "has", ____, "counts")