เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การนับจำนวนคีย์ (CountingBykeys)

ในหลายชุดข้อมูล การนับจำนวนคีย์ใน key/value dataset ถือเป็นสิ่งสำคัญ ตัวอย่างเช่น การนับจำนวนประเทศที่มีการขายสินค้า หรือการแสดงชื่อเด็กทารกที่ได้รับความนิยมสูงสุด ในแบบฝึกหัดนี้ จะใช้ Rdd ที่สร้างไว้ก่อนหน้านี้และนับจำนวนคีย์ที่ไม่ซ้ำกันใน pair RDD นั้น

จำไว้ว่ามี SparkContext sc และ Rdd พร้อมใช้งานอยู่ใน workspace แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ใช้ countByKey แล้วกำหนดผลลัพธ์ให้กับตัวแปร total
  • ชนิดของ total คืออะไร?
  • วนซ้ำผ่าน total และแสดงผลคีย์พร้อมจำนวนของแต่ละคีย์

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Count the unique keys
total = Rdd.____()

# What is the type of total?
print("The type of total is", ____(total))

# Iterate over the total and print the output
for k, v in total.___(): 
  print("key", ____, "has", ____, "counts")
แก้ไขและรันโค้ด