1. Learn
    2. /
  2. Курси
    3. /
  3. Основи Big Data з PySpark
Connected

Вправа

Партиції у ваших даних

Метод textFile() у SparkContext має необов'язковий другий аргумент minPartitions для задання мінімальної кількості партицій. У цій вправі ви створите RDD з назвою fileRDD_part із 5 партиціями, а потім порівняєте його з fileRDD, який ви створили у попередній вправі. Зверніться до слайду «Understanding Partition» у відео 2.1, щоб пригадати методи створення RDD і отримання кількості партицій у RDD.

Пам'ятайте: у вашому робочому середовищі вже доступні SparkContext sc, file_path і fileRDD.

Інструкції

100 XP
  • Знайдіть кількість партицій, які підтримують RDD fileRDD.
  • Створіть RDD з назвою fileRDD_part із вказаного шляху до файлу, але створіть 5 партицій.
  • Підтвердіть кількість партицій у новому RDD fileRDD_part.