เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การใช้งาน PySpark แบบโต้ตอบ

Spark มี Python shell แบบโต้ตอบที่ติดตั้ง PySpark ไว้พร้อมใช้งานแล้ว PySpark shell เหมาะสำหรับการทดสอบและดีบักเบื้องต้น และมีประสิทธิภาพสูงมาก วิธีที่ดีที่สุดในการสาธิตความสามารถของ PySpark shell คือการลงมือทำแบบฝึกหัด ในแบบฝึกหัดนี้ จะโหลดลิสต์ง่าย ๆ ที่มีตัวเลขตั้งแต่ 1 ถึง 100 เข้าสู่ PySpark shell

สิ่งสำคัญที่ต้องเข้าใจคือเราไม่ต้องสร้าง SparkContext object เอง เนื่องจาก PySpark จะสร้าง SparkContext object ชื่อ sc ให้โดยอัตโนมัติใน PySpark shell

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Big Data Fundamentals with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้างลิสต์ Python ชื่อ numb ที่มีตัวเลขตั้งแต่ 1 ถึง 100
  • โหลดลิสต์เข้า Spark โดยใช้เมธอด parallelize ของ Spark Context และกำหนดให้กับตัวแปร spark_data

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create a Python list of numbers from 1 to 100 
numb = range(____, ____)

# Load the list into PySpark  
spark_data = sc.____(numb)
แก้ไขและรันโค้ด