Tìm hiểu SparkContext
SparkContext là điểm khởi đầu để dùng các chức năng của Spark. Hãy hình dung nó như chiếc chìa khóa để khởi động xe. Khi bạn chạy bất kỳ ứng dụng Spark nào, một chương trình driver sẽ khởi động, chứa hàm main và SparkContext của bạn được tạo tại đây. PySpark tự động tạo một SparkContext cho bạn trong PySpark shell (vì vậy bạn không phải tự tạo) và cung cấp nó qua biến sc.
Trong bài tập đơn giản này, bạn sẽ xem các thuộc tính của SparkContext trong PySpark shell mà bạn sẽ dùng cho phần còn lại của khóa học.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- In ra phiên bản của SparkContext trong PySpark shell.
- In ra phiên bản Python của SparkContext trong PySpark shell.
- Master của SparkContext trong PySpark shell là gì?
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)