Изучение SparkContext

В этом упражнении вы познакомитесь с SparkContext.

Вы, вероятно, заметите, что код выполняется дольше, чем ожидалось. Всё дело в том, что Spark — это серьёзный инструмент: он запускается медленнее, чем большинство привычных вам решений. Кроме того, простые вычисления тоже могут занимать больше времени. Причина в том, что все оптимизации Spark рассчитаны на сложные операции с большими наборами данных. Это значит, что для простых или небольших задач Spark может уступать другим инструментам по скорости.

Это упражнение является частью курса

Основы PySpark

Посмотреть курс

Инструкции к упражнению

Познакомьтесь с SparkContext.

Вызовите print() для sc, чтобы убедиться, что SparkContext доступен в вашем окружении.
С помощью print() выведите sc.version, чтобы узнать версию Spark, запущенную на вашем кластере.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Verify SparkContext
print(____)

# Print Spark version
print(____)

Редактировать и запускать код