Інтерактивне використання PySpark

Spark містить інтерактивну оболонку Python, у якій PySpark уже встановлено. Оболонка PySpark зручна для базового тестування та налагодження й доволі потужна. Найпростіше показати можливості оболонки PySpark — через вправу. У цій вправі ви завантажите простий список із числами від 1 до 100 в оболонці PySpark.

Найважливіше тут — зрозуміти, що ми не створюємо жодного об'єкта SparkContext, адже PySpark автоматично створює об'єкт SparkContext з назвою sc в оболонці PySpark.

Ця вправа є частиною курсу

Основи Big Data з PySpark

Переглянути курс

Інструкції до вправи

Створіть список Python з назвою numb, що містить числа від 1 до 100.
Завантажте список у Spark за допомогою методу parallelize об'єкта Spark Context і присвойте результат змінній spark_data.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create a Python list of numbers from 1 to 100 
numb = range(____, ____)

# Load the list into PySpark  
spark_data = sc.____(numb)

Редагувати та запускати код