Партиції у ваших даних

Метод textFile() у SparkContext має необов'язковий другий аргумент minPartitions для задання мінімальної кількості партицій. У цій вправі ви створите RDD з назвою fileRDD_part із 5 партиціями, а потім порівняєте його з fileRDD, який ви створили у попередній вправі. Зверніться до слайду «Understanding Partition» у відео 2.1, щоб пригадати методи створення RDD і отримання кількості партицій у RDD.

Пам'ятайте: у вашому робочому середовищі вже доступні SparkContext sc, file_path і fileRDD.

Ця вправа є частиною курсу

Основи Big Data з PySpark

Переглянути курс

Інструкції до вправи

Знайдіть кількість партицій, які підтримують RDD fileRDD.
Створіть RDD з назвою fileRDD_part із вказаного шляху до файлу, але створіть 5 партицій.
Підтвердіть кількість партицій у новому RDD fileRDD_part.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

Редагувати та запускати код