Разделы в ваших данных

Метод textFile() объекта SparkContext принимает необязательный второй аргумент minPartitions, который задаёт минимальное количество разделов. В этом упражнении вы создадите RDD с именем fileRDD_part, состоящий из 5 разделов, и сравните его с fileRDD, созданным в предыдущем упражнении. Обратитесь к слайду «Understanding Partition» в видео 2.1, чтобы узнать о методах создания разделов и получения их количества в RDD.

Обратите внимание: SparkContext sc, переменные file_path и fileRDD уже доступны в вашем рабочем пространстве.

Это упражнение является частью курса

Основы Big Data с PySpark

Посмотреть курс

Инструкции к упражнению

Определите количество разделов, на которые опирается RDD fileRDD.
Создайте RDD с именем fileRDD_part на основе того же пути к файлу, но с 5 разделами.
Убедитесь в правильности количества разделов в новом RDD fileRDD_part.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

Редактировать и запускать код