Ghi trích xuất đã làm sạch xuống Parquet
Quay lại dữ liệu thư viện Seattle. Nhóm có một bản trích xuất lượt mượn đã được làm sạch và muốn ghi ra Parquet cho các công cụ downstream, nhưng họ không muốn vật hóa toàn bộ dữ liệu trong bộ nhớ trước. Hãy ghi truy vấn lazy thẳng xuống đĩa.
clean_checkouts đã được nạp sẵn, cùng với đường dẫn xuất CLEAN_EXPORT_PATH.
Bài tập này là một phần của khóa học
Mở rộng và tối ưu hóa pipeline dữ liệu với Polars
Hướng dẫn bài tập
- Ghi
clean_checkoutsvàoCLEAN_EXPORT_PATHtrực tiếp từ truy vấn lazy. - Đặt kích thước row group là 5.000.
- Sử dụng streaming engine.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Write clean_checkouts straight to disk
clean_checkouts.____(
CLEAN_EXPORT_PATH,
# 5,000 rows per row group
row_group_size=____,
# Streaming engine
engine="____",
)
# Confirm what landed in the Parquet file
result = pl.scan_parquet(CLEAN_EXPORT_PATH).select(
pl.len().alias("rows"),
pl.col("checkouts").sum().alias("total_checkouts"),
).collect()
print(result)