Dùng batch sink tùy chỉnh
Với các xử lý tùy chỉnh mà Polars không hỗ trợ sẵn, bạn có thể truyền function của riêng mình. Nhóm muốn bạn thấy mẫu này dù bình thường họ sẽ dùng một sink dựng sẵn. Hãy stream digital_rows qua function record_batch đã được định nghĩa trước.
digital_rows đã được nạp sẵn. Một function record_batch(batch) ghi lại số dòng và tổng giá trị checkout của mỗi batch vào batch_summaries cũng đã được định nghĩa cho bạn.
Bài tập này là một phần của khóa học
Mở rộng và tối ưu hóa pipeline dữ liệu với Polars
Hướng dẫn bài tập
- Stream
digital_rowsqua function theo các lô 5.000 dòng bằng streaming engine.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Stream batches through the record_batch function
digital_rows.____(
record_batch,
____=5_000,
____="streaming",
)
result = pl.DataFrame(batch_summaries)
print(result)