Tạo một SparkSession
Chúng tôi đã tạo sẵn một SparkSession tên là spark cho bạn, nhưng nếu bạn không chắc là nó đã tồn tại thì sao? Tạo nhiều SparkSession và SparkContext có thể gây lỗi, nên cách làm chuẩn là dùng phương thức SparkSession.builder.getOrCreate(). Cách này sẽ trả về SparkSession đang có trong môi trường nếu tồn tại, hoặc tạo mới khi cần!
Bài tập này là một phần của khóa học
Nền tảng về PySpark
Hướng dẫn bài tập
- Import
SparkSessiontừpyspark.sql. - Tạo một
SparkSessionmới tênmy_sparkbằngSparkSession.builder.getOrCreate(). - In
my_sparkra console để kiểm tra đó là mộtSparkSession.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)