Ознайомлення зі `SparkContext`

У цій вправі ви познайомитеся з SparkContext.

Ймовірно, ви помітите, що код виконується довше, ніж очікували. Це тому, що Spark — потужне програмне забезпечення. На запуск іому потрібно більше часу, ніж ви звикли. Ви також можете виявити, що прості обчислення інколи тривають довше, ніж очікується. Причина в тому, що оптимізації, які має Spark „під капотом", розраховані на складні операції з великими наборами даних. Отже, для простих або невеликих задач Spark може працювати повільніше, ніж інші рішення!

Ця вправа є частиною курсу

Основи PySpark

Переглянути курс

Інструкції до вправи

Познайомтеся з SparkContext.

Викличте print() для sc, щоб переконатися, що у вашому середовищі є SparkContext.
Виконайте print() для sc.version, щоб дізнатися, яка версія Spark запущена у вашому кластері.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Verify SparkContext
print(____)

# Print Spark version
print(____)

Редагувати та запускати код