Phân tích dữ liệu chó
Bạn đã dọn dẹp khá nhiều trên bộ dữ liệu ban đầu, nhưng giờ cần phân tích sâu hơn. Có một số câu hỏi nảy sinh về loại chó xuất hiện trong ảnh và một vài chi tiết liên quan đến ảnh. Bạn nhận ra rằng để trả lời những câu hỏi này, bạn cần xử lý dữ liệu về một kiểu cụ thể. Trước khi có thể sử dụng, bạn sẽ cần tạo một schema/kiểu dữ liệu để biểu diễn chi tiết về chó.
DataFrame joined_df vẫn như bạn đã định nghĩa lần cuối, và các pyspark.sql.types đã được import đầy đủ.
Bài tập này là một phần của khóa học
Làm sạch dữ liệu với PySpark
Hướng dẫn bài tập
- Chọn cột biểu diễn chi tiết về chó từ DataFrame và hiển thị 10 hàng đầu tiên không bị cắt ngắn.
- Tạo một schema mới như trước đây, dùng các tên breed, start_x, start_y, end_x và end_y. Hãy bảo đảm chỉ định đúng kiểu dữ liệu cho từng trường trong schema (mọi giá trị số đều là số nguyên).
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Select the dog details and show 10 untruncated rows
print(joined_df.____.show(____, truncate=____))
# Define a schema type for the details in the dog list
DogType = ____([
StructField("breed", ____, False),
StructField("start_x", ____, False),
____,
____,
____
])