Знакомство со SparkContext
SparkContext — это точка входа в функциональность Spark. Можно сравнить его с ключом от автомобиля: без него не обойтись. При запуске любого Spark-приложения стартует программа-драйвер с главной функцией, и именно здесь инициализируется SparkContext. В оболочке PySpark объект SparkContext создаётся автоматически — вам не нужно делать это вручную. Он доступен через переменную sc.
В этом упражнении вы познакомитесь с атрибутами SparkContext в оболочке PySpark, которую будете использовать на протяжении всего курса.
Это упражнение является частью курса
Основы Big Data с PySpark
Инструкции к упражнению
- Выведите версию SparkContext в оболочке PySpark.
- Выведите версию Python, используемую SparkContext в оболочке PySpark.
- Определите мастер SparkContext в оболочке PySpark.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)