SortByKey và Collect
Nhiều khi bạn sẽ cần sắp xếp pair RDD dựa trên khóa (ví dụ như bài toán đếm từ mà bạn sẽ thấy ở phần sau của chương). Trong bài này, bạn sẽ sắp xếp pair RDD Rdd_Reduced mà bạn đã tạo ở bài trước theo thứ tự giảm dần và in ra kết quả cuối cùng.
Lưu ý, bạn đã có sẵn SparkContext sc và Rdd_Reduced trong không gian làm việc.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- Sắp xếp RDD
Rdd_Reducedtheo khóa theo thứ tự giảm dần. - Thu thập nội dung và lặp để in ra kết quả.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)
# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
print("Key {} has {} Counts".format(____, num[1]))