เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ทำความเข้าใจ SparkContext

SparkContext คือจุดเริ่มต้นในการเข้าถึงฟังก์ชันการทำงานของ Spark เปรียบได้กับกุญแจรถยนต์ เมื่อรันแอปพลิเคชัน Spark ใดก็ตาม โปรแกรม driver จะเริ่มทำงาน โดยมีฟังก์ชัน main และ SparkContext จะถูกสร้างขึ้นที่นี่ PySpark จะสร้าง SparkContext ให้อัตโนมัติใน PySpark shell (โดยไม่ต้องสร้างเอง) และเข้าถึงได้ผ่านตัวแปร sc

ในแบบฝึกหัดนี้ จะได้สำรวจแอตทริบิวต์ต่าง ๆ ของ SparkContext ใน PySpark shell ซึ่งจะใช้งานตลอดทั้งคอร์ส

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • แสดง version ของ SparkContext ใน PySpark shell
  • แสดง Python version ของ SparkContext ใน PySpark shell
  • master ของ SparkContext ใน PySpark shell คืออะไร

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)

# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)

# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)
แก้ไขและรันโค้ด