Entendendo o SparkContext
Um SparkContext representa o ponto de entrada para a funcionalidade do Spark. É como a chave do seu carro. Quando executamos qualquer aplicativo Spark, um programa de driver é iniciado, que tem a função principal, e seu SparkContext é iniciado aqui. O PySpark cria automaticamente um SparkContext para você no shell do PySpark (para que você não tenha que criá-lo sozinho) e é exposto por meio de uma variável sc.
Neste exercício simples, você descobrirá os atributos do SparkContext no shell do PySpark que você usará no restante do curso.
Este exercício faz parte do curso
Fundamentos de Big Data com PySpark
Instruções de exercício
- Imprima a versão do SparkContext no shell do PySpark.
- Imprima a versão do Python do SparkContext no shell do PySpark.
- Qual é o master do SparkContext no shell do PySpark?
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)