Phân vùng trong dữ liệu của bạn
Phương thức textFile() của SparkContext nhận một đối số thứ hai tùy chọn gọi là minPartitions để chỉ định số lượng phân vùng tối thiểu. Trong bài tập này, bạn sẽ tạo một RDD tên fileRDD_part với 5 phân vùng rồi so sánh với fileRDD mà bạn đã tạo ở bài trước. Tham khảo slide "Understanding Partition" trong video 2.1 để biết các phương thức tạo và lấy số lượng phân vùng trong một RDD.
Lưu ý, bạn đã có sẵn SparkContext sc, file_path và fileRDD trong không gian làm việc.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- Tìm số lượng phân vùng của RDD
fileRDD. - Tạo một RDD tên
fileRDD_parttừ đường dẫn tệp nhưng tạo 5 phân vùng. - Xác nhận số lượng phân vùng trong RDD
fileRDD_partmới.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)
# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)
# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)