ReduceBykey và Collect
Một trong những phép biến đổi phổ biến nhất với pair RDD là reduceByKey(), hoạt động trên các cặp khóa, giá trị (k,v) và gộp các giá trị theo từng khóa. Trong bài tập này, bạn sẽ tạo một pair RDD từ danh sách các tuple, sau đó gộp các giá trị có cùng khóa và cuối cùng in ra kết quả.
Lưu ý: Bạn đã có sẵn SparkContext sc trong workspace của mình.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- Tạo một pair RDD tên
Rddvới các tuple(1,2),(3,4),(3,6),(4,5). - Biến đổi
RddbằngreduceByKey()thành pair RDDRdd_Reducedbằng cách cộng các giá trị có cùng khóa. - Thu thập nội dung của pair RDD
Rdd_Reducedvà lặp để in ra kết quả.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create PairRDD Rdd with key value pairs
Rdd = sc.parallelize([____])
# Apply reduceByKey() operation on Rdd
Rdd_Reduced = Rdd.reduceByKey(lambda x, y: ____)
# Iterate over the result and print the output
for num in Rdd_Reduced.____:
print("Key {} has {} Counts".format(____, num[1]))