Memahami SparkContext
SparkContext merepresentasikan titik masuk ke fungsionalitas Spark. Ini layaknya kunci mobil Anda. Saat kita menjalankan aplikasi Spark apa pun, sebuah program driver dimulai yang memiliki fungsi utama, dan SparkContext Anda diinisialisasi di sini. PySpark secara otomatis membuat SparkContext untuk Anda di shell PySpark (jadi Anda tidak perlu membuatnya sendiri) dan disediakan melalui variabel sc.
Dalam latihan sederhana ini, Anda akan melihat atribut-atribut SparkContext di shell PySpark yang akan Anda gunakan sepanjang kursus ini.
Latihan ini adalah bagian dari kursus
Fundamental Big Data dengan PySpark
Petunjuk latihan
- Cetak versi SparkContext di shell PySpark.
- Cetak versi Python dari SparkContext di shell PySpark.
- Apa master dari SparkContext di shell PySpark?
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)