Partition ในข้อมูลของคุณ

เมธอด textFile() ของ SparkContext มี argument ตัวเลือกชื่อ minPartitions สำหรับกำหนดจำนวน partition ขั้นต่ำ ในแบบฝึกหัดนี้ จะสร้าง RDD ชื่อ fileRDD_part ที่มี 5 partition แล้วเปรียบเทียบกับ fileRDD ที่สร้างไว้ในแบบฝึกหัดก่อนหน้า ดูสไลด์ "Understanding Partition" ในวิดีโอ 2.1 เพื่อศึกษาเมธอดสำหรับสร้างและดูจำนวน partition ใน RDD

โดย SparkContext sc, file_path และ fileRDD มีพร้อมใช้งานใน workspace แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

หาจำนวน partition ที่รองรับ RDD fileRDD
สร้าง RDD ชื่อ fileRDD_part จาก file path โดยกำหนดให้มี 5 partition
ตรวจสอบจำนวน partition ใน RDD fileRDD_part ที่สร้างขึ้นใหม่

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

แก้ไขและรันโค้ด