การสร้าง SparkSession
เราได้สร้าง SparkSession ชื่อ spark ไว้ให้แล้ว แต่ถ้าไม่แน่ใจว่ามีอยู่แล้วหรือเปล่า จะทำอย่างไร? การสร้าง SparkSession และ SparkContext หลายตัวพร้อมกันอาจทำให้เกิดปัญหาได้ วิธีที่ดีที่สุดคือใช้เมธอด SparkSession.builder.getOrCreate() ซึ่งจะคืนค่า SparkSession ที่มีอยู่แล้วในสภาพแวดล้อมนั้น หรือสร้างใหม่หากยังไม่มี
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
- นำเข้า
SparkSessionจากpyspark.sql - สร้าง
SparkSessionใหม่ชื่อmy_sparkโดยใช้SparkSession.builder.getOrCreate() - พิมพ์
my_sparkออกทางคอนโซลเพื่อตรวจสอบว่าเป็นSparkSession
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)