เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

สร้าง base RDD และแปลงข้อมูล

ปริมาณข้อมูลไม่มีโครงสร้าง (log lines, รูปภาพ, ไฟล์ไบนารี) กำลังเพิ่มขึ้นอย่างรวดเร็ว และ PySpark เป็นเฟรมเวิร์กที่เหมาะอย่างยิ่งสำหรับการวิเคราะห์ข้อมูลประเภทนี้ผ่าน RDD ในแบบฝึกหัด 3 ส่วนนี้ คุณจะเขียนโค้ดเพื่อหาคำที่ใช้บ่อยที่สุดจาก Complete Works of William Shakespeare

ขั้นตอนโดยย่อของโปรแกรมนับคำมีดังนี้

  • สร้าง base RDD จากไฟล์ Complete_Shakespeare.txt
  • ใช้ RDD transformation เพื่อสร้างรายการคำยาวจากแต่ละ element ของ base RDD
  • ลบ stop words ออกจากข้อมูล
  • สร้าง pair RDD ที่แต่ละ element เป็น pair tuple รูปแบบ ('w', 1)
  • จัดกลุ่ม element ของ pair RDD ตาม key (คำ) แล้วรวม value เข้าด้วยกัน
  • สลับ key (คำ) และ value (จำนวน) เพื่อให้ key คือจำนวนและ value คือคำ
  • สุดท้าย จัดเรียง RDD จากมากไปน้อย และแสดง 10 คำที่พบบ่อยที่สุดพร้อมความถี่

ในแบบฝึกหัดแรกนี้ คุณจะสร้าง base RDD จากไฟล์ Complete_Shakespeare.txt แล้วแปลงข้อมูลเพื่อสร้างรายการคำยาว

โปรดทราบว่า SparkContext sc พร้อมใช้งานอยู่แล้วใน workspace และตัวแปร file_path (ซึ่งเป็น path ของไฟล์ Complete_Shakespeare.txt) ก็ถูกโหลดให้แล้วเช่นกัน

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้าง RDD ชื่อ baseRDD ที่อ่านแต่ละบรรทัดจาก file_path
  • แปลง baseRDD ให้เป็นรายการคำยาว แล้วสร้าง splitRDD ใหม่
  • นับจำนวนคำทั้งหมดใน splitRDD

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create a baseRDD from the file path
baseRDD = sc.____(file_path)

# Split the lines of baseRDD into words
splitRDD = baseRDD.____(lambda x: x.split())

# Count the total number of words
print("Total number of words in splitRDD:", splitRDD.____())
แก้ไขและรันโค้ด