Định nghĩa một schema

Tạo một schema được xác định trước giúp cải thiện chất lượng dữ liệu và hiệu năng nhập liệu. Như đã đề cập trong bài học, bạn sẽ tạo một schema đơn giản để đọc các cột sau:

Name
Age
City

Các cột Name và City có kiểu StringType() và cột Age có kiểu IntegerType().

Bài tập này là một phần của khóa học

Làm sạch dữ liệu với PySpark

Xem khóa học

Hướng dẫn bài tập

Import * từ thư viện pyspark.sql.types.
Định nghĩa một schema mới bằng phương thức StructType.
Định nghĩa StructField cho name, age, và city. Mỗi trường phải đúng kiểu dữ liệu tương ứng và không được nullable.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import the pyspark.sql.types library
____

# Define a new schema using the StructType method
people_schema = ____([
  # Define a StructField for each field
  StructField('name', ____, False),
  ____('____', IntegerType(), ____)
  ____
])

Chỉnh sửa và Chạy Mã