Tạo một SparkSession

Trong bài tập này, bạn sẽ khởi chạy một cụm Spark cục bộ sử dụng tất cả các lõi sẵn có. Cụm sẽ được truy cập thông qua một đối tượng SparkSession.

Lớp SparkSession có thuộc tính builder, là một thể hiện của lớp Builder. Lớp Builder cung cấp ba phương thức quan trọng cho phép bạn:

chỉ định vị trí của nút master;
đặt tên cho ứng dụng (tùy chọn); và
lấy một SparkSession hiện có hoặc, nếu chưa có, tạo một cái mới.

Lớp SparkSession có thuộc tính version cho biết phiên bản Spark. Lưu ý: Phiên bản cũng có thể được truy cập qua thuộc tính __version__ trên mô-đun pyspark.

Tìm hiểu thêm về SparkSession tại đây.

Khi bạn đã sử dụng xong cụm, nên tắt nó đi để giải phóng tài nguyên, giúp tài nguyên sẵn sàng cho các tiến trình khác.

Lưu ý:

Bạn có thể thấy hữu ích khi xem lại các slide từ bài học trong bảng Slides bên cạnh IPython Shell.
Phiên bản Spark trong bài tập không giống với trong bài học. Nền tảng bài tập đã được cập nhật lên phiên bản Spark mới hơn.

Bài tập này là một phần của khóa học

Machine Learning với PySpark

Xem khóa học

Hướng dẫn bài tập

Import lớp SparkSession từ pyspark.sql.
Tạo một đối tượng SparkSession kết nối đến cụm cục bộ. Sử dụng tất cả các lõi sẵn có. Đặt tên ứng dụng là 'test'.
Dùng thuộc tính version trên đối tượng SparkSession để lấy phiên bản Spark đang chạy trên cụm. Lưu ý: Phiên bản có thể khác với phiên bản dùng trong phần trình bày (đôi khi sẽ được cập nhật).
Tắt cụm.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import the SparkSession class
from ____ import ____

# Create SparkSession object
spark = SparkSession.builder \
                    .master(____) \
                    .____(____) \
                    .____()

# What version of Spark?
print(spark.____)

# Terminate the cluster
spark.____()

Chỉnh sửa và Chạy Mã