เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

SortByKey และ Collect

บางครั้งการเรียงลำดับ pair RDD ตาม key ก็มีประโยชน์มาก (เช่น การนับคำ ซึ่งจะได้เห็นในบทนี้) ในแบบฝึกหัดนี้ ให้เรียงลำดับ pair RDD Rdd_Reduced ที่สร้างไว้ในแบบฝึกหัดก่อนหน้าให้เป็นลำดับจากมากไปน้อย แล้วพิมพ์ผลลัพธ์สุดท้ายออกมา

จำไว้ว่า SparkContext sc และ Rdd_Reduced มีพร้อมใช้งานใน workspace ของคุณแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • เรียงลำดับ RDD Rdd_Reduced โดยใช้ key ในลำดับจากมากไปน้อย
  • Collect เนื้อหาและวนซ้ำเพื่อพิมพ์ผลลัพธ์ออกมา

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Sort the reduced RDD with the key by descending order
Rdd_Reduced_Sort = Rdd_Reduced.____(ascending=False)

# Iterate over the result and retrieve all the elements of the RDD
for num in Rdd_Reduced_Sort.____():
  print("Key {} has {} Counts".format(____, num[1]))
แก้ไขและรันโค้ด