สำรวจ SparkContext
ในแบบฝึกหัดนี้ คุณจะได้ทำความรู้จักกับ SparkContext
อาจสังเกตได้ว่าโค้ดใช้เวลารันนานกว่าที่คาดไว้ นั่นเป็นเพราะ Spark เป็นซอฟต์แวร์ที่มีความซับซ้อนสูง และต้องใช้เวลาในการเริ่มต้นระบบมากกว่าโปรแกรมทั่วไป นอกจากนี้ การประมวลผลที่ดูเหมือนง่ายอาจใช้เวลานานกว่าที่คาดด้วยเช่นกัน เพราะการปรับแต่งประสิทธิภาพของ Spark ถูกออกแบบมาสำหรับการดำเนินงานที่ซับซ้อนกับชุดข้อมูลขนาดใหญ่ ดังนั้น สำหรับปัญหาที่เล็กหรือง่าย Spark อาจทำงานได้ช้ากว่าโซลูชันอื่นบางตัวก็เป็นได้!
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
ทำความรู้จักกับ SparkContext
- เรียกใช้
print()กับscเพื่อตรวจสอบว่ามีSparkContextอยู่ใน environment ของคุณ - ใช้
print()กับsc.versionเพื่อดูว่า Spark เวอร์ชันใดกำลังทำงานอยู่บน cluster ของคุณ
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Verify SparkContext
print(____)
# Print Spark version
print(____)