Tổng hợp mọi thứ I
Bạn đã xây dựng nền tảng vững chắc về PySpark, khám phá các thành phần cốt lõi và thực hành với Spark SQL, DataFrame, cùng các thao tác nâng cao. Giờ là lúc gắn kết tất cả lại. Trong hai bài tập tiếp theo, bạn sẽ tạo một SparkSession, một DataFrame, cache DataFrame đó, thực hiện phân tích và giải thích kết quả!
Bài tập này là một phần của khóa học
Nhập môn PySpark
Hướng dẫn bài tập
- Import
SparkSessiontừpyspark.sql. - Tạo một
SparkSessionmới tên làfinal_sparkbằngSparkSession.builder.getOrCreate(). - In
my_sparkra console để xác nhận đó là mộtSparkSession. - Tạo một DataFrame mới từ schema và định nghĩa cột đã được nạp sẵn.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = SparkSession.builder.appName(____).____
# Print my_spark
____
# Load dataset into a DataFrame
df = ____(data, schema=columns)
df.show()