Оброблення результатів запиту пакетами
Команда хоче передавати записи цифрових оплат у наступну систему частинами, а не збирати один величезний датафрейм. Пройдіться по пакетах по 5 000 рядків і зафіксуйте коротке зведення для кожного.
LazyFrame digital_rows із відфільтрованими цифровими оплатами вже завантажено.
Ця вправа є частиною курсу
Масштабування й оптимізація конвеєрів даних з Polars
Інструкції до вправи
- Ітеруйтеся по
digital_rowsпакетами по 5 000 рядків на streaming-двигуні.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
batch_summaries = []
# Stream digital_rows in chunks of 5,000
for batch_no, batch in enumerate(
digital_rows.____(chunk_size=____, engine="streaming"),
start=1,
):
batch_summaries.append(
{
"batch": batch_no,
"rows": batch.height,
"checkouts": batch["checkouts"].sum(),
}
)
result = pl.DataFrame(batch_summaries)
print(result)