Розуміння SparkContext
SparkContext — це точка входу до функціональності Spark. Це як ключ від вашого авто. Коли запускається будь-який застосунок Spark, стартує драйвер-програма з головною функцією, і саме тут ініціалізується ваш SparkContext. У консолі PySpark SparkContext створюється автоматично (вам не потрібно створювати його вручну) і доступний через змінну sc.
У цій простій вправі ви з'ясуєте, які атрибути має SparkContext у вашій консолі PySpark. Ви користуватиметеся ними протягом усього курсу.
Ця вправа є частиною курсу
Основи Big Data з PySpark
Інструкції до вправи
- Виведіть версію SparkContext у консолі PySpark.
- Виведіть версію Python для SparkContext у консолі PySpark.
- Який майстер (master) у SparkContext у консолі PySpark?
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)