Ghi một ảnh chụp Parquet
Một dashboard phía hạ nguồn cần một ảnh chụp Parquet gọn nhẹ về hoạt động ebook số. Hãy xây dựng kết quả ở chế độ lười (lazy), rồi ghi lại với thiết lập nén và nhóm dòng rõ ràng để tối ưu tệp cho việc đọc nhanh.
LazyFrame requests đã có sẵn, và đường dẫn xuất nằm trong PARQUET_EXPORT_PATH.
Bài tập này là một phần của khóa học
Mở rộng và tối ưu hóa pipeline dữ liệu với Polars
Hướng dẫn bài tập
- Chỉ giữ 500 dòng dữ liệu số đầu tiên cho ảnh chụp.
- Đặt
compression_levellà5khi ghi tệp Parquet. - Đặt
row_group_sizelà250dòng.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
result = (
requests
.filter(pl.col("use") == "Digital")
.select("date", "format", "checkouts", "title")
# Keep only the first 500 rows
.____(500)
.collect()
)
result.write_parquet(
PARQUET_EXPORT_PATH,
# Set compression level to 5
compression_level=____,
# Set 250 rows per row group
row_group_size=____,
)
print(pl.read_parquet_schema(PARQUET_EXPORT_PATH))